您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hbase专题  
 

phoenix实战(hadoop2、hbase0.96)

【作者:Hadoop实战专家】【关键词:可以看到 hbase 数据 可以 方式 】 【点击:13582次】【2013-09-1】
1.如何配置phoenix?hbase配置的是伪分布式,并且使用自带的zookeeper(默认端口2181)。 可以看到这两个记录是不相同的,所以是可以插入的,不过只是在sqlline中并没有全部显示DATE的全部而已。这种方式也是不行的,所以数据暂时不能从hdfs到hbase了。  

相关热门搜索:hbase 客户端工具

大数据标签:hadoop hdfs yarn mapreduce hbase zookeeper bigdata

问题导读:
1.如何配置phoenix?
2.如何使用phoenix三种操作方式?

phoenix:2.2.2,可以下载源码(https://github.com/forcedotcom/phoenix/tree/port-0.96)自己编译,或者从这里下载(http://download.csdn.net/detail/fansy1990/7146479、http://download.csdn.net/detail/fansy1990/7146501)。
hadoopp:hadoop2.2.0
hbase:hbase-0.96.2-hadoop2。

首先把hbase和hadoop2 配置好,hadoop2就不多少了,配置的是伪分布式的yarn方式。hbase配置的是伪分布式,并且使用自带的zookeeper(默认端口2181)。

hbase的配置文件如下:

hbase-site.xml:

1. 

2.     

3.         hbase.rootdir

4.         hdfs://node31:9000/hbase

5.     

6.     

7.         hbase.cluster.distributed

8.         true

9.     

10.     

11.         hbase.zookeeper.quorum

12.         node31

13.     

14.     

15.         hbase.zookeeper.property.dataDir

16.         /var/zookeeper

17.     

18.     

19.         dfs.replication

20.         1

21.     

22. 

复制代码

下载phoenix2.2 的压缩包,然后解压缩。
1. 把$PHOENIX_HOME/target/phoenix-2.2.0-SNAPSHOT.jar 文件拷贝到$HBASE_HOME/lib/下面,重启hbase。
2. 把 $HBASE_HOME/conf/hbase-site.xml文件拷贝到$PHOENIX_HOME/bin/下面,替换原来的文件。

三种操作方式:

1.  sqlline方式:

进入$PHOENIX_HOME/bin 输入:./sqlline.sh node31:2181 ,其中node31:2181是zookeeper的地址;然后就是命令行了,如下:

2. psql方式:

2.1 新建表:
命令:./psql.sh node31:2181 ../examples/stock_symbol.sql  , 其中 ../examples/stock_symbol.sql是建表的sql语句,如下:

1. CREATE TABLE IF NOT EXISTS WEB_STAT (

2.      HOST CHAR(2) NOT NULL,

3.      DOMAIN VARCHAR NOT NULL,

4.      FEATURE VARCHAR NOT NULL,

5.      DATE DATE NOT NULL,

6.      USAGE.CORE BIGINT,

7.      USAGE.DB BIGINT,

8.      STATS.ACTIVE_VISITOR INTEGER

9.      CONSTRAINT PK PRIMARY KEY (HOST, DOMAIN, FEATURE, DATE)

10. );

复制代码

2.2 导入数据:
命令:./psql.sh -t WEB_STAT node31:2181 ../examples/web_stat.csv  , 其中 -t 后面是表名, ../examples/web_stat.csv 是csv数据(注意数据的分隔符需要是逗号)。

首先使用sqlline查看:

从上面的数据可以看到倒数第一、二条数据的primary key是一样的,primary key是作为hbase的row key的,应该是不一样的。所以这样肯定是有问题的,看原始数据:

可以看到这两个记录是不相同的,所以是可以插入的,不过只是在sqlline中并没有全部显示DATE的全部而已。

在Hbase中查看表数据:

这里可以看到在建表语句中使用USAGE.CORE就说明USAGE是一个family,而CORE则是它的一个列。

2.3 查询:
命令:./psql.sh -t WEB_STAT node31:2181 ../examples/web_stat_queries.sql (或者./psql.sh -t WEB_STAT node31:2181 ../examples/web_stat_queries.sql > result.txt  ,这样是把查询的数据保存到文件而已)

查询的结果如下:

1. DOMAIN     AVERAGE_CPU_USAGE AVERAGE_DB_USAGE

2. ---------- ----------------- ----------------

3. Salesforce.com          260.7272         257.6363

4. Google.com           212.875           213.75

5. Apple.com           114.1111         119.5555

6. Time: 0.087 sec(s)

7.

8. DAY                 TOTAL_CPU_USAGE MIN_CPU_USAGE MAX_CPU_USAGE

9. ------------------- --------------- ------------- -------------

10. 2013-01-01 00:00:00              35            35            35

11. 2013-01-02 00:00:00             150            25           125

12. 2013-01-03 00:00:00              88            88            88

13. 2013-01-04 00:00:00              26             3            23

14. 2013-01-05 00:00:00             550            75           475

15. 2013-01-06 00:00:00              12            12            12

16. 2013-01-08 00:00:00             345           345           345

17. 2013-01-09 00:00:00             390            35           355

18. 2013-01-10 00:00:00             345           345           345

19. 2013-01-11 00:00:00             335           335           335

20. 2013-01-12 00:00:00               5             5             5

21. 2013-01-13 00:00:00             355           355           355

22. 2013-01-14 00:00:00               5             5             5

23. 2013-01-15 00:00:00             720            65           655

24. 2013-01-16 00:00:00             785           785           785

25. 2013-01-17 00:00:00            1590           355          1235

26. Time: 0.246 sec(s)

27.

28. HOST TOTAL_ACTIVE_VISITORS

29. ---- ---------------------

30. EU                     150

31. NA                       1

32. Time: 0.37 sec(s)

复制代码

3. csv-bulk-loader.sh方式:
首先把phoenix jar包拷贝的hadoop lib目录:cp /opt/phoenix-port-0.96/target/phoenix-2.2.0-SNAPSHOT.jar /opt/hadoop2/share/hadoop/common/lib/

这种方式的使用参数:

1. Usage: csv-bulk-loader 

大数据系列hbase相关文章:

最新评论
苦咖啡2014-09-10 11:11:45
#好书推荐#《大数据技术全解》国内首本讲清大数据系统研发全流程图书,技术篇主要围绕着HDFS分布式文件系统、MapReduce分布式编程框架、Hbase分布式数据库系统这三个大数据的核心技术,对其实现原理、开发方法和具体应用进行了讲述。http://t.cn/8swSgXm
钟鹏2014-09-10 05:53:39
感兴趣的同学赶紧转发,叫上小伙伴一起来学习吧! http://url.cn/QO0Wyx
Amy2014-09-10 02:27:56
这个是fore循环,相当于for(int i=0;i
荧星诉语2014-09-09 07:49:15
求救大神
韩冀中2014-09-09 04:53:11
Apache HBase(http://t.cn/zjEprm2 ). Update message:Re-retagging hbase-0.96.2RC2 -- pulling in HBASE-10802. Project source url:http:...
SG-ABC2014-09-08 04:30:15
你懂的
Cecily_luz2014-09-08 04:12:16
发表了博文 《hadoop面试题答案》 - Hadoop 面试题,看看书找答案,看看你能答对多少(2) 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c http://t.cn/8FaZTxB
迈络思Mellanox2014-09-08 01:23:44
惹 那麻烦了
温柔SIR2014-09-07 10:34:19
今天一天感觉什么事都没做成,被hadoop虐了大半天还没搞定一点也不开心。还是赶快去睡觉了,明早还有课
随缘定终身2014-09-07 01:29:29
MediaV招聘DevOps崗位,運維開發/Hadoop工程師/PHP,Java工程師,工作地點在上海,有興趣請隨時聯繫我 , 更多介紹請看這裏: http://t.cn/RvwD99H
 
  • Hadoop生态系统资料推荐