4.解压hadoop,部署hadoop
(1)按照以上步骤配置完成后,最好重启一下所有机器,确保所有的设置生效。
然后利用joe账户分别登录三台机器。将事先下载好的hadoop压缩包复制到每台机器的/home/joe/目录下,然后在每一台机器上分别使用
tar–zxvf /home/joe/ hadoop-3.0.0-alpha1.tar.gz 命令解压安装hadoop3.0.
(2)解压完成后需要修改hadoop的配置文件。
(本小节步骤在三台机器上都完全相同,三台机器都需要进行修改)
A.使用如下指令编辑hadoop-env.sh文件
gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/hadoop-env.sh
在文件中找到exportJAVA_HOME=${JAVA_HOME}
修改为exportJAVA_HOME=/usr/java/jdk1.8.0_101(填写自己安装的jdk的路径)
B.修改core-site.xml文件
使用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/core-site.xml
在标签之间插入以下内容。
hadoop.tmp.dir/home/joe/cloudData
fs.defaultFShdfs://cMaster:8020
C.修改yarn-site.xml文件
使用以下命令修改gedit /home/joe/hadoop-3.0.0-alpha1/etc/hadoop/yarn-site.xml
在标签之间插入以下内容
yarn.resourcemanager.hostnamecMaster
yarn.nodemanager.aux-servicesmapreduce_shuffle
D.修改mapred-site.xml.template
将/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/目录下的mapred-site.xml.template重命名为mapred-site.xml
并用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/mapred-site.xml
在标签之间加入如下内容:
mapreduce.framework.nameyarn
E.启动hadoop
首先格式化主节点命名空间,使用命令:
/home/joe/hadoop-3.0.0-alpha1/bin/hdfsnamenode –formate
其次在主节点上启动存储服务和资源管理主服务。使用命令:
/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start namenode #启动主存储服务
/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start resourcemanager # 启动资源管理服务。
最后在从节点上启动存储从服务和资源管理从服务(以下两条命令要在两台机器上分别执行)
/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start datanode #启动从存储服务
/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start nodemanager #启动资源管理从服务
服务启动后在三台机器上分别使用jps命令查看是否启动。
cSlave0和cSlave1如下图所示
cMaster节点显示如下图所示
在cMaster机器的浏览器地址栏里输入cMaster:50070可以看到HDFS的相关信息,cMaster:8088可以看到Yarn的相关信息。
如图还可以查看从节点的信息。
至此 Hadoop3.0的配置工作已经完成了。接下来可以使用示例程序Wordcount来利用分布式系统统计某个文件中单词出现的次数。
在cMaster上以joe用户登录,然后执行以下的操作命令:
cd/home/joe/hadoop-3.0.0-alpha1/
bin/hdfs dfs -mkdir /in
bin/hdfs dfs -put/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/* /in