Hadoop入门扫盲:hadoop发行版介绍与选择

  一、hadoop发行版介绍

  目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,是由于Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。

  目前而言,不收费的Hadoop版本主要有三个,都是国外厂商,分别是:

  Apache(最原始的版本,所有发行版均基于这个版本进行改进)

  Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)

  Hortonworks版本(Hortonworks Data Platform,简称“HDP”)

  对于国内用户而言,绝大多数选择CDH版本,Cloudera的CDH和Apache的Hadoop的区别如下:

  (1) CDH对Hadoop版本的划分非常清晰,截止目前为止,CDH共有5个版本,其中,前三个已经不再更新,最近的两个,分别是CDH4和CDH5,CDH4基于Hadoop2.0,CDH5基于hadoop2.2/2.3/2.5/2.6.相比而言,Apache版本则混乱得多;同时,CDH发行版比Apache hadoop在兼容性,安全性,稳定性上有很大增强。

  (2)CDH3是CDH第三个版本,基于Apache hadoop0.20.2改进而来,并融入了最新的patch,CDH4版本是基于Apache hadoop2.0.0改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。

  (3)CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证.

  (4)CDH文档完善清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。

  (5)CDH支持yum/apt包,RPM包,tar包,Cloudera Manager三种方式安装,Apache hadoop只支持Tar包安装。

  二、CDH发行版本介绍

  CDH首先是100%开源,基于Apache协议。基于Apache Hadoop和相关projiect开发。可以做批量处理,交互式sql查询和及时查询,基于角色的权限控制。在企业中使用最广的Hadoop分发版本。

  Cloudera完善了CDH的版本,并提供了对hadoop的发布、配置和管理,监控,诊断工具,在官网提供了多种集成发行版。如下图所示:

物联网

  1、单纯CDH版本下载,目前最新版本为CDH5.8.2,可自由下载并免费无限制使用。

  2、Cloudera Express,可免费下载使用,包含了CDH,以及Cloudera Manager(简称CM),CM提供了对集群的管理功能,比如自动化部署,中心化管理,监控,诊断功能等。CM属于非开源产品,Cloudera提供有限功能使用,之前对管理的数据节点限制为50个,目前已经取消了此限制,可无限增加数据节点。

  3、Cloudera Enterprise是官方的收费产品,可免费试用60天全功能版本,过期后需要注册码才能继续使用,否则将变为Cloudera Express版本,包含CDH,以及Cloudera Manager。Cloudera Enterprise在发布、配置和管理,监控,诊断,集成四个部分的功能是相同的。只有在高级管理功能中有区别,Cloudera Enterprise拥有这些功能,而Cloudera Express则没有。

  三、CDH发行版下载地址

  可到官方网站下载页面: http://www.cloudera.com/downloads.html , 也可以知道到下面地址下载不同版本:

  http://archive.cloudera.com/cdh/

  http://archive.cloudera.com/cdh4/

  http://archive.cloudera.com/cdh5/

  四、CDH与操作系统的依赖

  CDH发行版本与操作系统的关系如下:

  经验推荐:

  hadoop-2.3.0-cdh5.1.5以及之前的版本,推荐linux操作系统版本为Centos6.x以上

 

  hadoop-2.5.0-cdh5.2.0以及之后的版本,推荐linux操作系统版本为Centos7.x(Centos7.1/7.2,7.0不支持)以上。