您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

阿里云唐洪:瞄准市场去打而非百度等竞争对手

【作者:Hadoop实战专家】【关键词:集群 】 【点击:66215次】【2013-06-1】
站长之家(Chinaz.com)10月30日专访报道:“在5000台服务器规模的计算集群上,上百P的数据量、上万个复杂的计算任务,300多万行代码。飞天5K项目的探索会对整个市场产生怎样的影响? 而谈及对手亚马逊,唐洪自信地表示可以比亚马逊做的更好。  

相关热门搜索:hadoop 集群安装

大数据标签:hadoop bigdata

百度权重查询 词库网 网站监控 服务器监控 SEO监控 手机游戏 iPhone游戏

阿里云资深总监飞天负责人唐洪

站长之家(Chinaz.com)10月30日专访报道:“在5000台服务器规模的计算集群上,上百P的数据量、上万个复杂的计算任务,300多万行代码。对于架构设计、网络通讯、调度和存储性能、容错性、可运维性、稳定性、数据正确性、甚至硬件能力等都带来前所未有的的挑战。”谈及将云梯2从1500台直接扩容到5000台的尝试,阿里云方面直言这件事的难度可以说是“背水一战”。

今年8月,历时4个月,阿里集团涵括云梯1空间优化与跨机房集群扩展、以及云梯2单集群规模从1500台升级到5000台,同时实现跨集群扩展的5K项目顺利取得阶段性成果。据悉,云梯1和云梯2都是阿里集团处理海量数据储存与计算的系统,前者底层为Hadoop,后者底层为阿里云自主研发的ODPS和飞天。今年上半年,云梯遭遇了机房容量的限制。业务规模增长迅速,预计离线计算集群将从现在的2个集群6000多台,增长到6个集群共21000台服务器,单集群规模要达到5000台。

当系统存储和计算能力即将到达瓶颈时,如何突破物理极限?如何保障云梯上数据业务的高速运转?如何安置云梯上海量的电子商务数据?

一直以来,对于云梯这样的大规模分布式离线存储和计算集群来说,扩展性被看作是其生命线,而跨机房更是一个老大难的问题,云梯团队需要面对的,是整个计算、存储、数据管理等技术都遇到的极大挑战。

“当你把一个服务从企业内部的一个应用人群变成了一个互联网人群,首先要考虑的是安全的问题;其次,企业用户和互联网的量级是不一样的,企业用户数以百计,互联网用户数以千计、数以万计,在整个架构的用户管理上有不一样的架构。”阿里云资深总监飞天负责人唐洪在接受站长之家采访时表示。

在他看来,企业审核的流程可以做到一些控制,内网也会好一些,但如果放在公共互联网上,任何人可以到5K上,他们的作业是并行跑的,(如此一来)安全首先是非常非常大的挑战;此外,很多美国的互联网公司也基于Hadoop做了很多东西,之所以没有公司可以把Hadoop这种能力作为功能服务推出去,是因为其本身需要做很多工作才有可能变成一个公共服务。

眼下,云计算正从单一领域聚焦蔓延至各行各业,且逐步渗透到人们生活的方方面面,面对这一具有十足爆发力的潜在市场,各路巨头纷纷摩拳擦掌。国际市场,Facebook和Google早已走在前列,微软、亚马逊更伺机闯入中国;国内市场,百度云、腾讯云等均跃跃欲试以分得一杯羹。所谓“割据江山占地封候”,如此一来,阿里云又有着怎样的优势?飞天5K项目的探索会对整个市场产生怎样的影响?

“其实,相比亚马逊、谷歌和微软,构建云服务,我们是有阿里巴巴集团的积累,我们有非常好的网络资源,前者在中国自己建骨干网走起来会比较艰难。以谷歌为例,它有云服务,但或出于保持自己核心竞争力的原因,在云方面一直羞羞答答地没有大踏步向前走。”唐洪表示。

而谈及对手亚马逊,唐洪自信地表示可以比亚马逊做的更好。“亚马逊没有大规模计算服务,而我们的优势是,对中国的云计算或者是移动互联网市场,我们有第一手精确的了解,这样有利于我们产品的本地化以及贴近用户的使用习惯。”

单集群规模达到5000台,且实现跨机房集群扩展,无论如何,在经历硬件升级、全业务数据优化、跨机房扩展的实现等项目关键性过程中,飞天5K技术团队跨越了重重门槛。在他们大多数人眼中,此次任务是“背水一战”,毕竟,原本非常小的程序失误,在5000台的环境下会暴露无遗,亦即,一个疏忽会使得全盘失误。

移动互联网、金融领域、建设智慧城市……在云计算的路上,诸位大佬在为完善整个生态圈而奔波着。如唐洪所言,阿里云的部署是瞄准市场去打的,而不是竞争对手。时不时环顾一下周围对手的同时,瞄准更大的市场似乎才是更重要的。

“我们在搞一个长跑,今天的状态是领跑者,有两个人在后面,在这种情况下,你跑步的过程当中,看的是终点在哪里,这个市场还没有完全成熟起来,我们占有的在未来市场可能1%都不到,我们要瞄准更大的市场,而不是看现有我们占了多少,但时不时的往后看一下,其它的产品有什么好地方值得我们可以借鉴。”——唐洪

大数据系列相关文章:

最新评论
dikanggu2014-09-10 03:49:58
谁有这本电子书?
安仔2014-09-09 05:35:47
平均水平么?
一林幽静2014-09-08 07:07:23
请给个思路,用什么方法
深圳独轮车2014-09-08 03:01:01
你的配置是不是有问题:http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html
慧数中国2014-09-07 12:52:36
统计了一下最新的Hadoop 1.2.1的代码量 , O my god.
赤道漫雪2014-09-06 12:31:11
角逐Hadoop市场,Cloudera与Hortonworks竞争白热化-CSDN.NET http://t.cn/8sHsFx3
湘南清风2014-09-05 09:54:44
4年前的惊鸿一瞥,4年后的朝夕相处,hadoop我来了。。。。
kingmen2014-09-05 06:30:36
那些都是工作之后再搞都来得及的。
Amors2014-09-05 06:43:08
hadoop + hbase + mr + cascading云存储平台,即将开启...
为何设计2014-09-05 05:44:49
【2014年商业智能十大趋势】①数据科学家将消亡;②云端商业智能将成为主流;③大数据将迎来爆炸式发展;④轻巧的商业智能工具继续占据领导地位;⑤预测分析成为主流;⑥嵌入式商业智能工具出现;⑦帮助“讲故事”;⑧注重移动商业智能工具;⑨企业开始认真分析社交数据;⑩NoSQL将成为新的Hadoop。
 
  • Hadoop生态系统资料推荐