您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hadoop专题  
 

Hadoop 0.21.0的新功能 - lance家园 - CSDN博客

【作者:Hadoop实战专家】【关键词:文件 支持 】 【点击:66637次】【2013-07-2】
Hadoop 发布了最新版本,这版与之前的版本,在功能上有较大的改进,增加了一些新的功能。 另外支持 file concatenation 操作, Distributed RAID filesystem 。 加入测试框架 MRUnit 。 Job 完成后会创建该 job 的运行日志。的工具  

相关热门搜索:

大数据标签:hadoop hdfs mapreduce sqoop bigdata

Hadoop 0.21.0的新功能 收藏

Hadoop 0.21.0 的新功能

Hadoop 发布了最新版本,这版与之前的版本,在功能上有较大的改进,增加了一些新的功能。主要如下:

http://www.cloudera.com/blog/2010/08/what%E2%80%99s-new-in-apache-hadoop-0-21/

Common:

classification annotations

Large-Scale Automated Test Framework

fault injection framework

Mockito-based tests

retrieve metrics and configuration

Hdfs :

增加 append 操作

文件系统新的 api

同时支持文件符号链接

Secondary NN 去掉了,换成了 BN(backup namenode),CN(checkpoint namenode) 。

一些附助的文件工具 :offline image viewer , block forensics tool

另外支持 file concatenation 操作, Distributed RAID filesystem 。

Mapreduce

New api

LocalJobRunner : 支持 distributed cache 和 run mappers in parallel 。

Distcp 提升

加入测试框架 MRUnit 。

Rumen , Mumak , job history log analyzer 。

job scheduling

Smarter speculative execution 智能推测执行器

Streaming combiners

Job 完成后会创建该 job 的运行日志。

未加入的功能:

安全性

Sqoop- 将数据从关系型数据库导入到 hdfs 的工具

大数据系列hadoop相关文章:

最新评论
心为谁等待2014-09-10 10:18:41
Mark了吧【Hadoop的辉煌还能延续多久?】http://t.cn/RP1POiy
那个人2014-09-10 01:08:10
现在没问题了
狗不理包子2014-09-09 09:00:40
【有钱一起赚】@陆金所lufax是中国平安旗下的网络投融资平台,“稳盈安e”投资项目8.4%以上预期年化利率,平安担保公司本息全额担保,1万元起投,持有60天后可转让。还有会员专享理财频道!本月被推荐注册的用户,完成银行卡认证送100元陆金币,投资时可抵100元。赶快注册赢100元吧:http://affiliate.lufax.com/action/Pm3u
为梦想2014-09-09 05:36:15
[图片]
betty2014-09-08 11:52:41
Hadoop源码分析之NameNode的目录构成与类继承结构 http://t.cn/8FLVCsU (via @推酷网)
黄东旭-IMDB2014-09-08 11:22:02
Eclipse 远程运行mapreduce失败 | 新手问题,求指点。。 环境: 1、虚拟机里的3个节点hadoop2.2.0集群 2、windows环境下的eclipse,已经支持对集群hdfs下文件的上传下载。 3、Wordcount示例程序 在虚拟机主节点上可以运行通过,在远程windows下 http://t.cn/RvLQSt1
星星2014-09-07 11:01:24
sudo apt-get install openssh-server
孤单天使2014-09-07 07:33:31
有承德的童鞋吗?
小颜2014-09-07 07:57:19
正在看《Linux下Hadoop分布式配置和使用》。来自网易云阅读 RPIlIX8
传说2014-09-06 10:25:13
哇咧哇咧 思密达 技术贴:腾讯大规模Hadoop集群实践 | 36大数据 http://t.cn/8sPNoqO
 
  • Hadoop生态系统资料推荐