大数据系列(3)——Hadoop集群完全分布式坏境搭建

  验证方式就很简单了,首先我们先来执行一个HDFS格式的命令,这个在上一篇我们已经分析过了,因为,咱们这里改成完全分布式的集群,所以这里需要重新格式。

  bin/hadoop namenode -format

  首先,我们来验证一下整个集群的HDFS是否正常可用。

  启动整个集群的HDFS,在Master机器上面,用hadoop用户操作,命令如下:

  start-dfs.sh

  我们通过浏览器来查看整个集群的HDFS状态,地址为:http://192.168.1.50:50070/dfshealth.html#tab-overview

  可以看到,当前我们的Hadoop集群的HDFS集群已经成功启动,然后我们来看整个集群的存储和节点数;

  从上面的截图我们可以看到,当前的集群存在四个DataNode节点,就是刚才我们配置的Slave文件的IP.这说明我们配置的集群HDFS能够正常运行。

  然后,我们来验证一下整个集群的YARN分布式计算框架是否正常可用。

  同样的方式,我们首先来启动Yarn.脚本如下:

  start-yarn.sh

  我们通过浏览器来查看整个集群的Hadoop集群状态,地址为:http://192.168.1.50:8088/

  可以看到,当前的Hadoop集群已经存在四个正在运行的节点,而且跑的很Happy.后面的文章我将跟大家分析如何使用这个Hadoop集群。

  结语

  此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。

  本篇主要介绍了搭建一个完全分布式的Hadoop集群,后面我们会逐渐完善它,我会教你如何一步步的使用完全分布式的Hadoop集群,然后教你如何使用它,骚年...不要捉急...让思维飞一会...

  有问题可以留言或者私信,随时恭候有兴趣的童鞋加大数据平台深入研究。共同学习,一起进步。

  文章的最后给出上一篇的基础篇:

  大数据系列(1)——Hadoop集群坏境搭建配置

  大数据系列(2)——Hadoop集群坏境CentOS安装

 

  如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“ 推荐 ”。