您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hadoop,hive专题  
 

深入浅出Hadoop生态系统(2)

【作者:Hadoop实战专家】【关键词:数据 框架 】 【点击:36684次】【2014-03-1】
本文将从Hadoop1.0到Hadoop2.0由浅入深,及扩展到Hadoop周边组件进行图文讲解与Demo演示.  

相关热门搜索:

大数据标签:hadoop hdfs yarn mapreduce hive spark storm bigdata

本文将从Hadoop1.0到Hadoop2.0由浅入深,及扩展到Hadoop周边组件进行图文讲解与Demo演示.希望对大家有所帮助.
一、Big Data & Hadoop

二、The Hadoop App Store

三、Hadoop|Data Storage—-HDFS

四、MapReduce
①工作流程图

②Combined 原理图

③MapReduce经典单词统计Demo(Map与Reduce代码)

五、Hadoop衍生组件Pig

Pig语法示例:

六、SQL For Hadoop—-Hive
Pig貌似看来比较易用,但更易用的类SQL当属Hadoop衍生组件—Hive.

Hive体系结构图:

Hive语句示例:

七、Hadoop其它扩展组件图

八、传统企业平台与Hadoop架构平台对比
①传统企业平台

②Hadoop架构平台

细化数据:

数据分析:

丰富的数据

广告发送架构图:

九、Hadoop2.0 与资源管理框架Yarn

Yarn 简单架构图:

①HDFS FEDERATION

②Apache Tez:一个运行在YARN之上支持DAG作业的计算框架

Tez的低延迟

十、分布式实时处理框架—Storm

十一、内存处理框架Spark—数据共享

来源:http://www.vterm.cn/index.php/hadoop-ecosystem-mr1-vs-yarn/

大数据系列hadoop,hive相关文章:

最新评论
听说2014-09-11 12:30:11
大家用eclipse开发hadoop,都是用的什么插件?
胖哥2014-09-09 10:15:08
我们尊敬的江大人,做的好事真不多
明明2014-09-09 02:54:38
你换了好多了
君子2014-09-08 02:33:12
3、对大数据或云计算或移动端的技术和产品有相关了解,并且拥有扎实的行业经验;
阿斯顿马丁2014-09-08 10:35:12
不知道跟这个有没有关系
绮梦幽幻2014-09-07 04:22:23
已收藏,推荐大家观看!【视频:9.8.2013 晚金俊秀在釡山的 Hive Club 演唱 Incredible_(1080p)】http://t.cn/z82LmlA(来 @优酷网 看我更多收藏视频:http://t.cn/RvF8aSA)
白天不懂夜2014-09-07 12:00:06
『HIVE中MAPJOIN可以使用的场景分析 -- 其他 -- IT技术博客大学习 -- 共学习 共进步!』http://t.cn/8FY53Ao
 
  • Hadoop生态系统资料推荐