您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hbase,hive专题  
 

hive0.13调整hbase 0.96.2 hadoop2.2.0 问题总结

【作者:Hadoop实战专家】【关键词:hive hbase 需要 问题 文件 】 【点击:72406次】【2013-05-1】
failed with exception 'java.io.FileNotFoundException(File does not exist: hdfs://*. 这是需要将使用的jar包上传到hdfs文件系统中,所以,需要哪个就上传哪个吧,用put命令。 最后成功实现hive与hbase的整合。  

相关热门搜索:

大数据标签:hadoop hdfs mapreduce hbase hive zookeeper bigdata

问题导读:
1.hive.aux.jars.path参数的作用是什么?
2.Job Submission failed with exception 'java.io.FileNotFoundException'这个问题该如何解决?

最近研究了一下hive与hbase的整合,使用的都是各自的最新release, hive0.13, hbase0.96.2,整合的过程其实挺简单的,大致需要注意的地方如下:

1. hive的配置文件hive-site.xml需要添加的内容:


hive.aux.jars.path
file:///home/grid/hive/lib/hive-hbase-handler-0.13.0.jar,file:///home/grid/hive/lib/hbase-client-0.96.2-hadoop2.jar,file:///home/grid/hive/lib/hbase-common-0.96.2-hadoop2.jar,file:///home/grid/hive/lib/hbase-common-0.96.2-hadoop2-tests.jar,file:///home/grid/hive/lib/hbase-protocol-0.96.2-hadoop2.jar,file:///home/grid/hive/lib/hbase-server-0.96.2-hadoop2.jar,file:///home/grid/hive/lib/htrace-core-2.04.jar,file:///home/grid/hive/lib/zookeeper-3.4.6.jar,file:///home/grid/hive/lib/protobuf-java-2.5.0.jar,file:///home/grid/hive/lib/guava-11.0.2.jar


hbase.zookeeper.quorum
server1,server2


2.安装hbase的过程不再累述

最后在双方查询都能查到数据,但是在hive中向hbase插入数据的时候出现了问题,错误信息如下:

java.io.FileNotFoundException: File does not exist: hdfs://*.*.*.*:9000/home/grid/hbase/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1110)
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1102)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1102)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:99)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:264)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:420)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.main(ExecDriver.java:740)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Job Submission failed with exception 'java.io.FileNotFoundException(File does not exist: hdfs://*.*.*.*:9000/home/grid/hbase/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar)'
Execution failed with exit status: 1
Obtaining error information

Task failed!
Task ID:
Stage-0

Logs:

/tmp/root/hive.log
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

这是需要将使用的jar包上传到hdfs文件系统中,所以,需要哪个就上传哪个吧,用put命令。

最后成功实现hive与hbase的整合。

大数据系列hbase,hive相关文章:

最新评论
ZOL赵为民2014-09-10 08:55:03
大神:如果在发送或者接收时锁定lock,另外一个线程能Close()该socket吗
daieu2014-09-09 10:58:01
现在保佑习大大,在上面多待会
18岁的丽姿June2014-09-09 05:33:24
基于HBase的消息队列:HQueue | 1. HQueue简介 HQueue是一淘搜索网页抓取离线系统团队基于HBase开发的一套分布式、持久化消息队列。它利用HTable存储消息数据,借助HBase Coprocessor将原始的KeyValue数据封装成消息数据格式进行存储,并基于HBase Client API封装了HQueue C... http://t.cn/RP5WlPW
张倩2014-09-08 07:50:28
javahome not set
小朋2014-09-07 12:54:07
#凉凉的金融招聘#HADOOP工程师:两年以上HADOOP开发经验;熟悉Hadoop集群管理及优化;熟练掌握Map/Reduce、HBase、Hive、sqoop、Pig、Mahout中两种以上开发技术;熟悉Linux/Unix操作系统,熟悉脚本编程(Shell/Python/Perl其中一种)邮箱:bxll_2008@126.com @金融招聘HR网 @招聘电台 @高端金融招聘平台
PYBKXSQ2014-09-06 11:45:35
try catch 她的哪个老公同意吗
sally2014-09-06 07:22:30
夜店3D/Video live 小时巡回派对 蜂巢创意Hive ideas。。 |夜店3D/Video live 小时巡回派对 蜂巢创意Hive ideas
思数云-BIhadoop2014-09-05 01:03:48
大神形象
清风依旧2014-09-04 09:38:33
夜店3D/Video live 小时巡回派对 蜂巢创意Hive ideas。。 |夜店3D/Video live 小时巡回派对 蜂巢创意Hive ideas
我想幸福2014-09-03 11:54:54
为了配置个hadoop搞了一下午,为了还没开始写的转博报告现看paper看了半个晚上,焦头烂额之时发现自己居然被评为年度实验室优秀学生...虽然没啥分量而且严重怀疑是轮流坐庄制,但也有种垂死病中惊坐起的感觉
 
  • Hadoop生态系统资料推荐