![物联网](/d/file/news/Internet_of_things/technical/2017-07/3aa5bf6daea99b73f8ca35cb1a2b9a20.png)
4.解压hadoop,部署hadoop
(1)按照以上步骤配置完成后,最好重启一下所有机器,确保所有的设置生效。
然后利用joe账户分别登录三台机器。将事先下载好的hadoop压缩包复制到每台机器的/home/joe/目录下,然后在每一台机器上分别使用
tar–zxvf /home/joe/ hadoop-3.0.0-alpha1.tar.gz 命令解压安装hadoop3.0.
![物联网](/d/file/news/Internet_of_things/technical/2017-07/f7dcf7cb85eea80e9123814f8bb8fab7.png)
(2)解压完成后需要修改hadoop的配置文件。
(本小节步骤在三台机器上都完全相同,三台机器都需要进行修改)
A.使用如下指令编辑hadoop-env.sh文件
gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/hadoop-env.sh
在文件中找到exportJAVA_HOME=${JAVA_HOME}
修改为exportJAVA_HOME=/usr/java/jdk1.8.0_101(填写自己安装的jdk的路径)
![物联网](/d/file/news/Internet_of_things/technical/2017-07/b7681a3ada8578fbb1370c860f3e0f2b.png)
B.修改core-site.xml文件
使用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/core-site.xml
在标签之间插入以下内容。
hadoop.tmp.dir/home/joe/cloudData
fs.defaultFShdfs://cMaster:8020
![物联网](/d/file/news/Internet_of_things/technical/2017-07/095066caacb58d064c8055a63b33e260.png)
C.修改yarn-site.xml文件
使用以下命令修改gedit /home/joe/hadoop-3.0.0-alpha1/etc/hadoop/yarn-site.xml
在标签之间插入以下内容
yarn.resourcemanager.hostnamecMaster
yarn.nodemanager.aux-servicesmapreduce_shuffle
![物联网](/d/file/news/Internet_of_things/technical/2017-07/87e0edb8ee879c8999734116631a55f5.png)
D.修改mapred-site.xml.template
将/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/目录下的mapred-site.xml.template重命名为mapred-site.xml
并用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/mapred-site.xml
在标签之间加入如下内容:
mapreduce.framework.nameyarn
![物联网](/d/file/news/Internet_of_things/technical/2017-07/88ead274f3c12e55f35f63b554b2944e.png)
E.启动hadoop
首先格式化主节点命名空间,使用命令:
/home/joe/hadoop-3.0.0-alpha1/bin/hdfsnamenode –formate
其次在主节点上启动存储服务和资源管理主服务。使用命令:
/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start namenode #启动主存储服务
/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start resourcemanager # 启动资源管理服务。
最后在从节点上启动存储从服务和资源管理从服务(以下两条命令要在两台机器上分别执行)
/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start datanode #启动从存储服务
/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start nodemanager #启动资源管理从服务
![物联网](/d/file/news/Internet_of_things/technical/2017-07/71d4b675025c4ae350faadcd2478dc63.png)
服务启动后在三台机器上分别使用jps命令查看是否启动。
cSlave0和cSlave1如下图所示
![物联网](/d/file/news/Internet_of_things/technical/2017-07/a8db2db9ac2481da20eb36943c521d5c.png)
cMaster节点显示如下图所示
![](/d/file/news/Internet_of_things/technical/2017-07/0949f70554259c416e15bac44e9a0b40.png)
在cMaster机器的浏览器地址栏里输入cMaster:50070可以看到HDFS的相关信息,cMaster:8088可以看到Yarn的相关信息。
如图还可以查看从节点的信息。
![物联网](/d/file/news/Internet_of_things/technical/2017-07/40dba5e24454e5556b6f1ffb4c6bb05c.png)
至此 Hadoop3.0的配置工作已经完成了。接下来可以使用示例程序Wordcount来利用分布式系统统计某个文件中单词出现的次数。
在cMaster上以joe用户登录,然后执行以下的操作命令:
cd/home/joe/hadoop-3.0.0-alpha1/
bin/hdfs dfs -mkdir /in
bin/hdfs dfs -put/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/* /in