您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hadoop专题  
 

oozie 3.3.2在hadoop 2.2.0下的安装部署,及问题解决

【作者:Hadoop实战专家】【关键词:解压 oozie hadoop 】 【点击:72501次】【2013-09-1】
1. 如何在hadoop环境下,安装部署oozie ? oozie的安装部署及配置感觉不是一般的繁琐,而且层出不穷的bug也弄的我焦头烂额,下面主要讲下我的安装过程及遇到的问题 。0. 下载oozie-3.3.2的tar包,并解压:tar -xvf oozie-3.3.2.tar。  

相关热门搜索:oozie

大数据标签:hadoop hdfs yarn mapreduce bigdata

问题导读:
1. 如何在hadoop环境下,安装部署oozie ?
2. oozie 运行时的一些常见问题,及如何解决?

oozie的安装部署及配置感觉不是一般的繁琐,而且层出不穷的bug也弄的我焦头烂额,下面主要讲下我的安装过程及遇到的问题 。

一.必要准备:
1.      Apache的tomcat
2.      mysql-connector-java-5.1.6.jar 或其他版本的mysql-connectorjar包
3.      ext-2.2.zip

二.安装部署
0. 下载oozie-3.3.2的tar包,并解压:tar -xvf oozie-3.3.2.tar。oozie4.0.0安装失败了,原因是oozie-setup.sh一直执行不通过,希望那位大牛的赐教一下。

1.      在解压出来的目录下,修改pom.xml中的hadoop版本为您所需要的版本,我的是hadoop-2.2.0,这一步是因为oozie需要根据hadoop版本进行编译

2.      修改hadooplib下相应的版本目录下的pom.xml文件中的hadoop版本,这个目录下生成的lib待会会用到

3.执行bin/mkdistro.sh –DskipTests,进行编译

4.编译之后可以在OOZIE_HOME/distro/target/下找到oozie-3.3.2-distro,这个就是编译好的版本,我们之后的部署就是部署这个目录下的oozie,若无特别说明,安装目录也是指这个目录

5.oozie安装目录下,解压share,example(可选),clint三个tar包,如下:

oozie-client-3.3.2.tar.gz
oozie-examples.tar.gz
oozie-sharelib-3.3.2.tar.gz

6.把share tar包解压出来的文件夹,share,上传到hdfs的oozie用户下:
hadoop fs –put share

7.oozie安装目录下新建文件夹libext,在第二步hadooplib目录下找到相应版本,在里边的target目录下可以找到对应的lib目录,把里边的所有jar包copy到新建的libext下

8.添加mysql相关包:
bin/oozie-setup.sh -jars mysql-connector-java-5.1.6.jar -extjs /ext-2.2.zip
注意mysql-connector和ext的jar包路径不要写错

9.添加hadoop相关包
$OOZIE_HOME/bin/oozie-setup.sh -hadoop 2.2.0 ${HADOOP_PREFIX}  -extjs  /ext-2.2.zip

10.把mysql-connector jar包copy到lib,libext下

11.   环境变量
etc/profile:主要是设置oozie,apache,如下

1. export OOZIE_HOME=/usr/lib/cloud/oozie/oozie

2. export CATALINA_HOME=/usr/lib/cloud/oozie/apache-tomcat-7.0.42

3.

4. export PATH="${CATALINA_HOME}"/bin:$PATH

5. export OOZIE_URL=http://localhost:11000/oozie

6. export PATH="${OOZIE_HOME}"/bin:${PATH}

复制代码

12.修改oozie-site.Xml文件:添加如下,感觉直接用默认的就好,不需要修改oozie-site.xml

1. 

2.

3.        oozie.service.JPAService.create.db.schema

4.

5.        true

6.

7.        

8.

9.        

10.

11.    

复制代码

13. 在hadoop的core-site.xml中添加如下,oozie为用户名,hadoop为oozie所在的组

1. 

2.

3.    hadoop.proxyuser.oozie.hosts

4.

5.    192.168.237.128

6.

7. 

8.

9. 

10.

11.    hadoop.proxyuser.oozie.groups

12.

13.    hadoop

14.

15. 

复制代码

14.在oozie目录下conf/hadoop-conf下,修改core-site.xml文件,添加:

1. 

2.

3.    yarn.resourcemanager.address

4.

5.     baby6:8032

6.

7.   

8.

9. 

10.

11.       yarn.resourcemanager.scheduler.address

12.

13.        master:8030

14.

15.    

复制代码

15.现在可以启动了,bin下执行oozie-start.sh

启动之后正常的话,可以在网页上看到如下界面,这就表示看上去成功了:

三. 常见的问题:

1.运行的时候报下面的错误:
JA017: Unknown hadoop job [job_1384170946375_0004] associated with action [0000000-131111204232566-oozie-oozi-W@mr-node].  Failing this action!

变种很多,原因就是oozie找不到hadoop job,之前在MR1上运行的好好的,升级成hadoop 2.x.x上就容易出现这个问题。我的解决方法是,把jobhistory的配置相关信息放在oozie的conf/hadoop-conf/core-site.xml中,当然首先你要开启jobhistory。
开启hadoop jobhistory的方式为$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver,估计很多像我一样从hadoop 1.0.4升级上来的用户都会忘掉这一步
把如下信息放到oozie的conf/hadoop-conf/core-site.xml:

1. 

2.        mapreduce.jobhistory.webapp.address

3.         baby6:19888

4.     

5.   

6.     mapreduce.jobhistory.intermediate-done-dir

7.     /user/yarn/tmp

8.   

9.   

10.     mapreduce.jobhistory.done-dir

11.     /user/yarn/done

12.   

复制代码

原因我估计是因为oozie-3.3.2对yarn的支持还不够,或者是因为我太弱了。

2.第二点也是因为升级hadoop才出现的,就是jobtracker的问题。hadoop 2.2.0中已经不存在jobtraker一说了,但oozie仍然需要这个参数,这显然还是版本兼容性的问题

解决方法很简单,把该填写jobtracker值的地方都填写上yarn.resourcemanager.address的值,默认的是 baby:8032,baby是你的主机名。一般需要在workflow或者job.properties里边改这个值,并且把yarn.resourcemanager.address写入到oozie的conf/hadoop-conf/core-site.xml里,就像前面第14条所说的。

引用:http://blog.csdn.net/teddeyang/article/details/16339533

大数据系列hadoop相关文章:

最新评论
彩云2014-09-10 10:46:39
求解求教
2014-09-10 09:35:12
#hadoop学习笔记# 唉,写了那么久的hql和udf,终于能自己搭建hadoop和hive了,喵了个咪的,以前都是看着别人搭建。虽然是伪分布,但完全分布也就多了点东西而已,等以后发达了,买100台主机撘撘试试。
方方2014-09-10 12:14:53
一大批都不行
Anok_马健2014-09-09 02:11:08
[图片]、
mojunbin2014-09-08 11:20:43
从零开始nodejs系列文章 | 粉丝日志 跨界的IT博客,核心IT技术包括:Hadoop,R,RHadoop,Nodejs,AngularJS,KVM,NoSQL,IT金融 http://t.cn/RvTKpcm
小鱼儿2014-09-08 05:44:07
[图片]@黑羽白翼
鎭鈊僾伱2014-09-07 08:28:56
【告诉你Hadoop是什么【图解】】 Hadoop是什么? Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 Hadoop的框架最核心的设计就是: HDFS和MapReduce.HDFS… http://t.cn/RvO5pMV
开心半支烟2014-09-06 11:02:03
和大数据没什么关系
端庄的凯之2014-09-06 10:00:36
【国内首个#一站式大数据平台#星环出世】在中国数据库技术大会上,#星环#信息科技(上海)有限公司正式推出TranswarpDataHub3.0,--含最热门的Hadoop2.2,Spark,内存分析引擎,再次走到大数据平台技术的前沿。 http://t.cn/8s91heJ
A NO⒈张2014-09-06 08:59:58
#Hadoop培训#本月Hortonworks Hadoop开发者培训正在进行中!讲师张军正在讲解MapReduce的原理 SK大厦
 
  • Hadoop生态系统资料推荐