您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hadoop,yarn,storm专题  
 

Yahoo的Storm-YARN离实时Hadoop查询更进一步

【作者:Hadoop实战专家】【关键词:集群 资源 】 【点击:9346次】【2013-11-1】
1.实时处理(Storm)和(hadoop)批处理的结合有哪些优势?遗憾的是,直到最近,实现Storm和Hadoop所需要的集群在物理上仍然有所不同。YARN用来根据需求启动Storm应用的主节点——即Nimbus,并支持Nimbus为Storm应用的工作节点(即Supervisor)请求资源。  

相关热门搜索:

大数据标签:hadoop hdfs yarn hbase storm bigdata

阅读可以带着下面问题:

1.实时处理(Storm)和(hadoop)批处理的结合有哪些优势?

2.实时处理(Storm)和(hadoop)批处理通过什么把二者结合起来?

Apache Hadoop是大数据处理与批处理的事实标准,而Twitter Storm则很快地成为实现大规模事件处理的一种标准。遗憾的是,直到最近,实现Storm和Hadoop所需要的集群在物理上仍然有所不同。Yahoo!宣布开放运行在Hadoop集群上的Storm——即Storm-YARN的源代码。

据Yahoo!介绍,相对于隔离的集群,实时处理(Storm)和批处理的结合具有很多优势:

提供了巨大的弹性潜力。实时处理的负载一般不恒定,而且是不可预测的。就其本身而言,为满足需求峰值,Storm会需要更多资源。将Storm和批处理搭配使用,Storm需要资源时可以从批处理作业那里窃取,当资源需求下降时再把资源还回去。Storm-YARN为实现这一理念奠定了基础。

很多应用将Storm用于低延时处理,而将Map/Reduce用于批处理,同时,两者之间会共享数据。通过将Storm放到物理上更接近数据源和/或同一流水线中其他组件的地方,可以减少网络传输,进而减少获取数据的总开销。

Storm与YARN的集成利用了Hadoop的新型资源管理器YARN:

Storm-on-YARN支持Storm应用利用数以万计的Hadoop计算节点的计算资源。YARN用来根据需求启动Storm应用的主节点——即Nimbus,并支持Nimbus为Storm应用的工作节点(即Supervisor)请求资源。

Storm-YARN提供了标准的Storm配置文件,其中包括YARN的特定参数,支持配置初始启动的Supervisor数及为每个Supervisor分配的容器的内存大小。

此外,为支持Hadoop风格的安全机制,Yahoo!还增强了Storm,支持Storm应用直接访问存储在HDFS和Hbase上的Hadoop数据。

据Loraine Lawson介绍:

实时交付信息是Hadoop和其他大数据解决方案更有前景的应用之一。这一点很少被提及,这很遗憾,因为对很多组织而言,这是真正的致胜之道,对我们这些人也很有启示。

Storm实现的实时事件处理,加上Hadoop,再加上实时Hadoop查询,它们的结合让我们离这一愿景又近了一步。

来自群组: Hadoop技术组

大数据系列hadoop,yarn,storm相关文章:

最新评论
白菜2014-09-10 11:06:32
这字体好看
小梦2014-09-10 12:49:32
哪里都有你
李文胜2014-09-10 02:09:09
[图片]
鹏少2014-09-08 08:11:49
Spark亚太研究院和51CTO联合荣誉出品Scala视频,http://edu.51cto.com/course/course_id-1847.html#6720061-qzone-1-71701-b3c6dccc866570a81e5a113b4634d6ed
ECCP-云计算平台2014-09-07 10:52:19
传说中的捡肥皂?
 
  • Hadoop生态系统资料推荐