您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

Apache Spark源码走读之12

【作者:Hadoop实战专家】【关键词:集群 配置文件 台机器 】 【点击:80252次】【2013-04-1】
创建基于kvm的虚拟机,利用libvirt提供的图形管理界面,创建3台虚拟机,非常方便。 添加如下内容到. 刚才所作的配置文件更改发生在master机器上,将整个更改过的内容全部复制到slave1和slave2。有哪些是运行的时候真正需要的呢,下面将会列出这些目录和文件。  

相关热门搜索:hadoop集群 第10期 zookeeper 集群管理

大数据标签:hadoop hdfs yarn mapreduce hive spark storm bigdata

富贵有定数,学问则无定数。求一分,便得一分

快乐源于简单

* 博客园
* 首页
* 博问
* 闪存
* 新随笔
*
* 订阅
* 管理

随笔-50  文章-0  评论-21

Apache Spark源码走读之12 -- Hive on Spark运行环境搭建

欢迎转载,转载请注明出处,徽沪一郎。

楔子

Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。

Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意。由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常闻名的Shark开源项目。

在Spark 1.0中,Spark自身提供了对Hive的支持。本文不准备分析Spark是如何来提供对Hive的支持的,而只着重于如何搭建Hive On Spark的测试环境。

安装概览

整体的安装过程分为以下几步

1. 搭建Hadoop集群 (整个cluster由3台机器组成,一台作为Master,另两台作为Slave)
2. 编译Spark 1.0,使其支持Hadoop 2.4.0和Hive
3. 运行Hive on Spark的测试用例 (Spark和Hadoop Namenode运行在同一台机器)

Hadoop集群搭建

创建虚拟机

创建基于kvm的虚拟机,利用libvirt提供的图形管理界面,创建3台虚拟机,非常方便。内存和ip地址分配如下

1. master 2G    192.168.122.102
2. slave1  4G    192.168.122.103
3. slave2  4G    192.168.122.104

在虚拟机上安装os的过程就略过了,我使用的是arch linux,os安装完成之后,确保以下软件也已经安装

1. jdk
2. openssh

创建用户组和用户

在每台机器上创建名为hadoop的用户组,添加名为hduser的用户,具体bash命令如下所示

groupadd hadoop
useradd -b /home -m -g hadoop hduser
passwd hduser

无密码登录

在启动slave机器上的datanode或nodemanager的时候需要输入用户名密码,为了避免每次都要输入密码,可以利用如下指令创建无密码登录。注意是从master到slave机器的单向无密码。

cd $HOME/.ssh
ssh-keygen -t dsa

将id_dsa.pub复制为authorized_keys,然后上传到slave1和slave2中的$HOME/.ssh目录

cp id_dsa.pub authorized_keys
#确保在slave1和slave2机器中,hduser的$HOME目录下已经创建好了.ssh目录
scp authorized_keys slave1:$HOME/.ssh
scp authorized_keys slave2:$HOME/.ssh

更改每台机器上的/etc/hosts

在组成集群的master, slave1和slave2中,向/etc/hosts文件添加如下内容

192.168.122.102 master
192.168.122.103 slave1
192.168.122.104 slave2

如果更改完成之后,可以在master上执行ssh slave1来进行测试,如果没有输入密码的过程就直接登录入slave1就说明上述的配置成功。

下载hadoop 2.4.0

以hduser身份登录master,执行如下指令

cd /home/hduser
wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz
mkdir yarn
tar zvxf hadoop-2.4.0.tar.gz -C yarn

修改hadoop配置文件

添加如下内容到.bashrc

export HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

修改$HADOOP_HOME/libexec/hadoop-config.sh

在hadoop-config.sh文件开头处添加如下内容

export JAVA_HOME=/opt/java

$HADOOP_CONF_DIR/yarn-env.sh

在yarn-env.sh开头添加如下内容

export JAVA_HOME=/opt/java
export HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

xml配置文件修改

文件1: $HADOOP_CONF_DIR/core-site.xml





  
    fs.default.name
    hdfs://master:9000
  
  
    hadoop.tmp.dir
    /home/hduser/yarn/hadoop-2.4.0/tmp
  


文件2: $HADOOP_CONF_DIR/hdfs-site.xml


 
 
   
     dfs.replication
     2
   
   
     dfs.permissions
     false
   
 

文件3: $HADOOP_CONF_DIR/mapred-site.xml



 
   mapreduce.framework.name
   yarn
 


文件4: $HADOOP_CONF_DIR/yarn-site.xml


 
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
  
  
    yarn.resourcemanager.resource-tracker.address
    master:8025
  
  
    yarn.resourcemanager.scheduler.address
    master:8030
  
  
    yarn.resourcemanager.address
    master:8040
  
 

文件5: $HADOOP_CONF_DIR/slaves

在文件中添加如下内容

slave1
slave2

创建tmp目录

在$HADOOP_HOME下创建tmp目录

mkdir $HADOOP_HOME/tmp

复制yarn目录到slave1和slave2

刚才所作的配置文件更改发生在master机器上,将整个更改过的内容全部复制到slave1和slave2。

for target in slave1 slave2
do 
    scp -r yarn $target:~/
    scp $HOME/.bashrc $target:~/
done

批量处理是不是很爽

格式化namenode

在master机器上对namenode进行格式化

bin/hadoop namenode -format

启动cluster集群

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemons.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemons.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

注意: daemon.sh表示只在本机运行,daemons.sh表示在所有的cluster节点上运行。

验证hadoop集群安装正确与否

跑一个wordcount示例,具体步骤不再列出,可参考本系列中的第11篇

编译Spark 1.0

Spark的编译还是很简单的,所有失败的原因大部分可以归结于所依赖的jar包无法正常下载。

为了让Spark 1.0支持hadoop 2.4.0和hive,请使用如下指令编译

SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true   SPARK_HIVE=true sbt/sbt assembly

如果一切顺利将会在assembly目录下生成 spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar

创建运行包

编译之后整个$SPARK_HOME目录下所有的文件体积还是很大的,大概有两个多G。有哪些是运行的时候真正需要的呢,下面将会列出这些目录和文件。

1. $SPARK_HOME/bin
2. $SPARK_HOME/sbin
3. $SPARK_HOME/lib_managed
4. $SPARK_HOME/conf
5. $SPARK_HOME/assembly/target/scala-2.10

将上述目录的内容复制到/tmp/spark-dist,然后创建压缩包

mkdir /tmp/spark-dist
for i in $SPARK_HOME/{bin,sbin,lib_managed,conf,assembly/target/scala-2.10}
do 
  cp -r $i /tmp/spark-dist
done
cd /tmp/
tar czvf spark-1.0-dist.tar.gz spark-dist

上传运行包到master机器

将生成的运行包上传到master(192.168.122.102)

scp spark-1.0-dist.tar.gz hduser@192.168.122.102:~/

运行hive on spark测试用例

经过上述重重折磨,终于到了最为紧张的时刻了。

以hduser身份登录master机,解压spark-1.0-dist.tar.gz

#after login into the master as hduser
tar zxvf spark-1.0-dist.tar.gz
cd spark-dist

更改conf/spark-env.sh

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1

运行最简单的example

用bin/spark-shell指令启动shell之后,运行如下scala代码

val sc: SparkContext // An existing SparkContext.
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

// Importing the SQL context gives access to all the public SQL functions and implicit conversions.
import hiveContext._

hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
hql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Queries are expressed in HiveQL
hql("FROM src SELECT key, value").collect().foreach(println)

如果一切顺利,最后一句hql会返回key及value

参考资料

1. Steps to install Hadoop 2.x release (Yarn or Next-Gen) on multi-node cluster

分类: Apache Spark

标签: Hadoop, Apache Spark

绿色通道: 好文要顶 关注我 收藏该文与我联系

徽沪一郎
关注 - 4
粉丝 - 55

+加关注

4

0

(请您对文章做出评价)

? 上一篇:Apache Storm源码阅读笔记
? 下一篇:Apache Spark源码走读之13 -- hiveql on spark实现详解

posted @ 2014-05-30 08:44 徽沪一郎 阅读(625) 评论(0) 编辑 收藏

刷新评论刷新页面返回顶部

注册用户登录后才能发表评论,请 登录 或 注册,访问网站首页。

博客园首页博问新闻闪存程序员招聘知识库

最新IT新闻:
· 宋卫平看马云五味杂陈 为什么是恒大不是绿城
· 搜狗搜索APP上线 或与微信深度合作
· 京东现货开卖红米手机,加价100-200元
· 诺基亚与小鸟之后,Supercell成芬兰科技新大佬
· 蘑菇街完成2亿美元融资 估值10亿美元
? 更多新闻...

最新知识库文章:

· 面对“问题员工”:用其长,容其短
· 高效程序员的特征:聪明,懒惰
· 一个技术团队就像一个UGC社区
· 不懂技术的人不要对懂技术的人说这很容易实现
· 我所经历的“余额宝”的那些故事

? 更多知识库文章...

公告

邮箱: hs_xp@163.com

QQ: 58506256

QQ群: Spark零基础学习 367106111

昵称:徽沪一郎
园龄:1年6个月
粉丝:55
关注:4
+加关注

< 2014年6月 >

日 一 二 三 四 五 六
25 26 27 28 29 30 31
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 1 2 3 4 5

搜索

随笔分类(45)

* Apache Spark(14)
* Apache Storm(18)
* archlinux(1)
* Database(1)
* GDB(9)
* Hadoop(1)
* memory management(1)

随笔档案(50)

* 2014年6月 (1)
* 2014年5月 (9)
* 2014年4月 (6)
* 2014年3月 (1)
* 2014年2月 (4)
* 2014年1月 (4)
* 2013年12月 (3)
* 2013年11月 (3)
* 2013年10月 (1)
* 2013年9月 (7)
* 2013年8月 (1)
* 2013年6月 (1)
* 2013年5月 (2)
* 2013年4月 (3)
* 2013年3月 (4)

积分与排名

* 积分 - 15429
* 排名 - 9835

阅读排行榜

* 1. Apache Spark源码走读之1 -- Spark论文阅读笔记(1698)
* 2. Apache Spark源码走读之2 -- Job的提交与运行(1174)
* 3. Apache Storm源码阅读笔记(1137)
* 4. Apache Spark源码走读之3 -- Task运行期之函数调用关系分析(1062)
* 5. emacs+ensime+sbt打造spark源码阅读环境(876)

评论排行榜

* 1. Apache Storm 衍生项目之1 -- storm-yarn(5)
* 2. Apache Spark源码走读之9 -- Spark源码编译(4)
* 3. Apache Storm源码阅读笔记(2)
* 4. twitter storm源码走读之2 -- tuple消息发送场景分析(2)
* 5. Apache Spark源码走读之1 -- Spark论文阅读笔记(2)

Copyright ?2014 徽沪一郎

大数据系列相关文章:

最新评论
没有核桃仁2014-09-09 11:05:08
哦..您能给我看下您的mapred-site.xml么
骑猪赶火车2014-09-09 04:51:10
1亿台机器 肯定不是 一个集群吧
unknown_4042014-09-08 07:33:18
已经打了。。。。
wosituoke2014-09-08 11:17:05
整个首页有小伙伴用hadoop的么……开发的时候虚拟机卡的累爱,是不是ios的系统对云开发的支持比较好啊
黑夜繁星2014-09-07 05:03:38
看过了。。都是对应的server的id
小帆2014-09-06 03:43:34
一次性可以提交多个相互独立的作业吗?
小手一挥2014-09-05 11:15:03
关于这门课,学生有优惠吗?@开源力量 “开源力量培训课-Hadoop Development 第三期”
李道航_Lucien2014-09-05 08:08:02
今天一天感觉什么事都没做成,被hadoop虐了大半天还没搞定一点也不开心。还是赶快去睡觉了,明早还有课
2014-09-05 05:25:18
发表了博文 《虚拟机Hadoop主机无法访问问题解决》 - 一定要记得关闭虚拟机(服务器也一样)防火墙。。。第二次遇到相同的问题还是查了半天。。羞愧。。。 还差个远程连接hadoop2时Could n http://t.cn/Rvh4M1o
hebe2014-09-04 09:36:14
【腾讯大数据之TDW计算引擎解析——Shuffle】腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分:MapReduce和Spark,两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析,并对两个计算引擎的Shuffle过程进行比较。 详情点击:http://t.cn/RvZrhSj
 
  • Hadoop生态系统资料推荐