您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

hadoop新手感悟(不断更新)

【作者:Hadoop实战专家】【关键词:公钥 需要 使用 集群 】 【点击:64575次】【2013-10-2】
另外一个方面,是在实际的集群安装中会有很多台的电脑需要配置环境,使用相同的账户和路径更加方便脚本批处理。安装JDK 环境,这是因为hadoop使用Java开发。说白一点,就是如果电脑A 需要无密码登录电脑B ,则需要在电脑A的authorized_keys中保存B的公钥信息。  

相关热门搜索:spark需要hadoop吗 hadoop需要什么基础 大数据需要哪些技术

大数据标签:hadoop mapreduce bigdata

这个没有标准答案,大家可以对下面问题发表个人看法
1.为什么要新建帐户和群组?
2.为什么安装JDK?
3.为什么配置SSH?
4.为什么HostName绑定ip?
5.hadoop编程本质是什么?

1.新建帐户和群组
集群的安装当然需要使用到多台电脑,我使用的是三台CentOS的虚拟机。网络上很多blog中都有提到,重新新建账户和群组,其实这个步骤是可有可无的。之所以这样干,我自己思考有两个方面的原因:一个是为了方便管理,账户专用,也更加安全; 另外一个方面,是在实际的集群安装中会有很多台的电脑需要配置环境,使用相同的账户和路径更加方便脚本批处理。

2.安装JDK
安装JDK 环境,这是因为hadoop使用Java开发。

3. 配置ssh 环境
在我最初看网络上一些文章的时候,我还是有点迷糊的。这个主要是需要了解ssh 公钥实现无密码登录的原理,之后就非常明了了。  说白一点,就是如果电脑A 需要无密码登录电脑B ,则需要在电脑A的authorized_keys中保存B的公钥信息。而如果需要多台电脑之间互相实现无码登录,则需要相互之间共享各自的公钥。

ssh环境两个需要注意的地方:一个是需要配置"/etc/ssh/sshd_config",PubkeyAuthentication yes #启用公钥私钥配对认证方式。另外一个是authorized_keys 的属性需要修改为644.

4. 配置/etc/hosts中计算机名称与IP的对应
其实这个只是为了方面在后面的配置文件中使用计算机名代替IP地址而已,便于管理,也便于修改。当然如果你不怕麻烦,所有的地方都使用IP地址也没有问题的。

5.hadoop编程本质
其实就是实现map和reduce函数,其它并行编程中的种种问题,比如分布式存储,工作调度,负载平衡等都有mapreduce框架去处理。
(来源敏小小博客使用maven构建hadoop开发环境)

大数据系列相关文章:

最新评论
简单行2014-09-10 12:23:57
我瞅瞅
围绕水的鱼2014-09-09 07:10:01
个人感觉,主要是我不应该开启Container的批量分配
海绵宝宝2014-09-08 05:05:00
【如何评价《Big Data:大数据时代》这本书?】AndyHsu:花了三天的零碎时间大致看完了舍恩伯格的《大数据时代:生活、工作、思维的大变革》。我看推荐说这是“迄今为止最好的一本大数据专著”。目前公司在搞Hadoop、… http://t.cn/zQXNJO3 (分享自知乎网)
风雨同舟2014-09-07 02:57:43
hello,有openstack和neutron的技术资料吗
sherwin2014-09-06 02:51:17
#简单的小幸福# 到目前为止,到开源力量开课的牛人,已经达到了55位。一些非常有趣的课程已经上线,还有不少甚至是免费的,给大家分享个免费的教学视频“讲Hadoop大数据入门指引” http://t.cn/8F73e5m 讲师:LouisT
新荣Booming2014-09-05 09:18:26
他自己内部机制挑选出一个主,其他就是从
程序猿-梁健2014-09-05 01:08:51
我才是一半。。。还天天苦逼苦逼累的
大圆那些事2014-09-04 02:00:57
hadoop2.0介绍(一) - guxch的专栏 - 博客频道 - CSDN.NET http://t.cn/RPRVb3V
GuoFeng_Michael2014-09-04 10:46:37
【Hadoop Python中读入文件的问题】分享自@SegmentFault,问题传送门:http://t.cn/RPVzaTZ
萨之夜2014-09-03 08:23:13
发表了博文 《Hadoop简介》 - Hadoop -- [hædu:p] -- 大象, Hadoop的发明者是雅虎公司的开发者道格.卡廷(Doug Cutting) Hadoop http://t.cn/RvapOY6
 
  • Hadoop生态系统资料推荐