当前位置 主页 > 服务器问题 > Linux/apache问题 >

    Apache Hadoop版本详解

    栏目:Linux/apache问题 时间:2018-11-29 14:10

    本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。感兴趣的朋友一起看看吧

    由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。

    1.Apache HadoopApache版本衍化

    截至目前(2012年12月23日),ApacheHadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版,而0.21.x和0.22.x则NameNodeHA等新的重大特性。第二代Hadoop包含两个版本,分别是0.23.x和2.x,它们完全不同于Hadoop1.0,是一套全新的架构,均包含HDFS Federation和YARN两个系统,相比于0.23.x,2.x增加了NameNodeHA和Wire-compatibility两个重大特性。

    经过上面的大体解释,大家可能明白了Hadoop以重大特性区分各个版本的,总结起来,用于区分Hadoop版本的特性有以下几个:

    (1)Append支持文件追加功能,如果想使用HBase,需要这个特性。

    (2)RAID在保证数据可靠的前提下,通过引入校验码较少数据块数目。详细链接:

    https://issues.apache.org/jira/browse/HDFS/component/12313080

    (3)Symlink支持HDFS文件链接,具体可参考:https://issues.apache.org/jira/browse/HDFS-245

    (4)SecurityHadoop安全,具体可参考:https://issues.apache.org/jira/browse/HADOOP-4487

    (5)NameNodeHA具体可参考:https://issues.apache.org/jira/browse/HDFS-1064

    (6)HDFSFederation和YARN



    需要注意的是,Hadoop2.0主要由Yahoo独立出来的hortonworks公司主持开发。

    Apache版本下载

    (1)各版本说明:http://hadoop.apache.org/releases.html。

    (2)下载稳定版:找到一个镜像,下载stable文件夹下的版本。

    (3)Hadoop最全版本:http://svn.apache.org/repos/asf/hadoop/common/branches/,可直接导到eclipse中。

    2.Cloudera HadoopCDH版本衍化

    Apache当前的版本管理是比较混乱的,各种版本层出不穷,让很多初学者不知所措,相比之下,Cloudera公司的Hadoop版本管理的要很多。

    我们知道,Hadoop遵从Apache开源协议,用户可以免费地任意使用和修改Hadoop,也正因此,市面上出现了很多Hadoop版本,其中比较出名的一是Cloudera公司的发行版,我们将该版本称为CDH(ClouderaDistributionHadoop)。截至目前为止,CDH共有4个版本,其中,前两个已经不再更新,最近的两个,分别是CDH3(在Apache Hadoop0.20.2版本基础上演化而来的)和CDH4在Apache Hadoop2.0.0版本基础上演化而来的),分别对应Apache的Hadoop 1.0和Hadoop2.0,它们每隔一段时间便会更新一次。



    Cloudera以patch level划分小版本,比如patch level为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch(这些patch是各个公司或者个人贡献的,在Hadoopjira上均有记录),其中923个是最后一个beta版本添加的patch,而142个是稳定版发行后新添加的patch。由此可见,patchlevel越高,功能越完备且解决的bug越多。

    Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。