CentOS 7.2 下配置Hadoop3.0 教程

物联网

  4.解压hadoop,部署hadoop

  (1)按照以上步骤配置完成后,最好重启一下所有机器,确保所有的设置生效。

  然后利用joe账户分别登录三台机器。将事先下载好的hadoop压缩包复制到每台机器的/home/joe/目录下,然后在每一台机器上分别使用

  tar–zxvf /home/joe/ hadoop-3.0.0-alpha1.tar.gz 命令解压安装hadoop3.0.

物联网

  (2)解压完成后需要修改hadoop的配置文件。

  (本小节步骤在三台机器上都完全相同,三台机器都需要进行修改)

  A.使用如下指令编辑hadoop-env.sh文件

  gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/hadoop-env.sh

  在文件中找到exportJAVA_HOME=${JAVA_HOME}

  修改为exportJAVA_HOME=/usr/java/jdk1.8.0_101(填写自己安装的jdk的路径)

物联网

  B.修改core-site.xml文件

  使用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/core-site.xml

  在标签之间插入以下内容。

  hadoop.tmp.dir/home/joe/cloudData

  fs.defaultFShdfs://cMaster:8020

物联网

  C.修改yarn-site.xml文件

  使用以下命令修改gedit /home/joe/hadoop-3.0.0-alpha1/etc/hadoop/yarn-site.xml

  在标签之间插入以下内容

  yarn.resourcemanager.hostnamecMaster

  yarn.nodemanager.aux-servicesmapreduce_shuffle

物联网

  D.修改mapred-site.xml.template

  将/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/目录下的mapred-site.xml.template重命名为mapred-site.xml

  并用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/mapred-site.xml

  在标签之间加入如下内容:

  mapreduce.framework.nameyarn

物联网

  E.启动hadoop

  首先格式化主节点命名空间,使用命令:

  /home/joe/hadoop-3.0.0-alpha1/bin/hdfsnamenode –formate

  其次在主节点上启动存储服务和资源管理主服务。使用命令:

  /home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start namenode #启动主存储服务

  /home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start resourcemanager # 启动资源管理服务。

  最后在从节点上启动存储从服务和资源管理从服务(以下两条命令要在两台机器上分别执行)

  /home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start datanode #启动从存储服务

  /home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start nodemanager #启动资源管理从服务

物联网

  服务启动后在三台机器上分别使用jps命令查看是否启动。

  cSlave0和cSlave1如下图所示

物联网

  cMaster节点显示如下图所示

  在cMaster机器的浏览器地址栏里输入cMaster:50070可以看到HDFS的相关信息,cMaster:8088可以看到Yarn的相关信息。

  如图还可以查看从节点的信息。

物联网

  至此 Hadoop3.0的配置工作已经完成了。接下来可以使用示例程序Wordcount来利用分布式系统统计某个文件中单词出现的次数。

  在cMaster上以joe用户登录,然后执行以下的操作命令:

  cd/home/joe/hadoop-3.0.0-alpha1/

  bin/hdfs dfs -mkdir /in

  bin/hdfs dfs -put/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/* /in