您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hbase,hive专题  
 

discuz论坛apache日志hadoop大数据项目:hbase、hive数据加载思路分析

【作者:Hadoop实战专家】【关键词:hbase 方式 hive 数据 】 【点击:74306次】【2013-02-1】
配合mapreduce完成,高效便捷,而且不占用region资源,增添负载,在大数据量写入时能极大的提高写入效率,并降低对HBase节点的写入压力。比如百度、新浪等这些必须使用这种方式,但是面对一些中小网站,可以采用第二种方式。 1、Hbase几种数据入库(load)方式比较  

相关热门搜索:

大数据标签:hadoop hdfs mapreduce hbase hive bigdata

hbase与hive实现about云分析discuz论坛apache日志hadoop大数据项目思路有很多:
目标:
实现数据能否同时注入hbase与hive

实现方式:

1.hbase通过BulkLoad加载、hive使用创建外部表的方式
2.hbase通过TableOutputFormat 方式、在reduce中直接生成put对象写入HBase,于此同时hive亦能查询数据,详细参考
about云分析discuz论坛apache日志hadoop大数据项目:hive与hbase是如何整合使用的

思路分析:
通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式,在reduce中直接生成put对象写入HBase,该方式在大数据量写入时效率低下(HBase会block写入,频繁进行flush,split,compact等大量IO操作),并对HBase节点的稳定性造成一定的影响(GC时间过长,响应变慢,导致节点超时退出,并引起一系列连锁反应),而HBase支持 bulk load 的入库方式,它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接在HDFS中生成持久化的HFile数据格式文件,然后上传至合适位置,即完成巨量数据快速入库的办法。配合mapreduce完成,高效便捷,而且不占用region资源,增添负载,在大数据量写入时能极大的提高写入效率,并降低对HBase节点的写入压力。

通过使用先生成HFile,然后再BulkLoad到Hbase的方式来替代之前直接调用HTableOutputFormat的方法有如下的好处:
(1)消除了对HBase集群的插入压力
(2)提高了Job的运行速度,降低了Job的执行时间

目前此种方式仅仅适用于只有一个列族的情况,在新版 HBase 中,单列族的限制会消除。

bulkload 流程与实践
bulkload 方式需要两个Job配合完成:
(1)第一个Job还是运行原来业务处理逻辑,处理的结果不直接调用HTableOutputFormat写入到HBase,而是先写入到HDFS上的一个中间目录下(如 middata)
(2)第二个Job以第一个Job的输出(middata)做为输入,然后将其格式化HBase的底层存储文件HFile
(3)调用BulkLoad将第二个Job生成的HFile导入到对应的HBase表中

总结
对于大数据来讲bulkload的方式,然后采用hive外部表的方式,这样方式应该更合适大数据项目。比如百度、新浪等这些必须使用这种方式,但是面对一些中小网站,可以采用第二种方式。
我们采用其中一种方式来实现。

1、Hbase几种数据入库(load)方式比较

大数据系列hbase,hive相关文章:

最新评论
真心真意2014-09-10 06:47:42
HBase 数据文件在HDFS上的存储 - bingjie1217的专栏 - 博客频道 - CSDN.NET http://t.cn/RvpFfIt
KeringWang2014-09-10 04:46:03
今天温习了一下Git构架(The Architecture of Open Source Applications chapter)http://t.cn/8FBnDkI 作者特别提到libgit2和它的数据库后端。也提到另两个项目用Cassandra和HBase后端。感觉git真的很合适用kv数据库来实现,那样可以把很多现在非常困难的查询和修改实现了。也有利于repo分布和规模化
若爱~深爱2014-09-09 08:40:01
学hadoop 是不是只要会linux的基础! 不用会写shell?
XH_MA2014-09-08 07:19:09
浪费人力物力
Anni2014-09-07 08:40:47
没事做
Helen2014-09-07 08:20:42
[睡觉]
思密达2014-09-06 03:42:28
有大神用过 Phoenix吗
在一起2014-09-06 05:25:57
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解-CSDN.NET http://t.cn/8FHfDkx
fengzi2014-09-06 12:34:50
#Mario# #马里奥·毛瑞尔# Mario明天下午6点会在“Hive Salon”帮他的御用发型师Gong站台
莫麟2014-09-04 09:19:47
#Hadoop知识知多少#Hadoop 1.0数据处理架构
 
  • Hadoop生态系统资料推荐