大数据系列(3)——Hadoop集群完全分布式坏境搭建

  上面的命令是要在 Slave01的机器上进行 的,并且使用hadoop用户今次那个操作。

  最后,我们来回到Master机器上面进行,ssh验证。

  SSH验证的命令很简单,格式如下:

  SSH <远程IP && 域名>

  所以,这里咱们在master机器上登录slave01机器上实验下,看是否还需要进行密码输入。

  ssh slave01.hadoop

  通过上面的命令窗口可以看到,我们已经成功的从Master机器上面无密码的登录到Slave01机器上面了。那么说明刚才的配置生效了。

  参照上面的步骤将各个Slave节点配置完成。

  这里需要配置的剩下的两个Slave节点进行无密码登录了,详细的操作过程参照上面的流程就可以了,需要的注意的是: 在Master生成密钥只需要生成一次就可以了,不要再次生成!因为每次生成以为着所有的节点都需要重新配置。

  配置完成之后的效果,就是要保证在master机器上面的hadoop用户能够无需密码的登录到各个slave节点上进行操作就可以。

  经过上面的操作,已经确保我们的Master机器可以毫无障碍的操作各个子节点Slave了。

  参照上面的步骤将各个Slave节点SSH到Master机器。

  我们知道,经过上面的一系列操作之后,我们的Master主节点可以顺利的操控各个Slave节点了,但是,这里需要注意的是,为了保证各个Slave机器和Master机器进行通信。

  需要 保证各个Slave节点能够无密码登录Master机器 ,操作步骤如上面。

  这么操作的理由很简单, 各个Slave子节点干完Master分配的任务之后,需要有权限反馈至他们的老大Master!

  好了,到此,我们已经完成了整个集群的SSH配置了。

  这里再次强调,上面的步骤要一定完成验证,要不以后的Hadoop操作会很出现各种诡异的问题,让你措手不及,这都是经验!!

  4、配置Hadoop集群配置。

  好了,到此我们需要对各个机器上面的Hadoop进行配置了。我们知道这里的所有的机器都是从一台机器上面的拷贝过来,因为我们在这个机器上面已经安装了单实例的Hadoop,参照上一篇文章。

  那么,下一步的步骤就是将这个单节点的配置成一个真正的分布式集群,充分利用我们刚才搭建的几台Server进行性能的最大发挥。

  这里的配置不是很多,只需要更改一下几个文件就可以了。

  首先进行slaves文件的配置,指定该集群的各个Slave节点的位置( 以hadoop用户进行操作)。

  这个只需要在Master的机器上面进行就可以了,当然,如果不介意可以保持所有的机器上面的Hadoop配置一样就可以了。执行命令如下

  vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/slaves

  然后,将各个Slave的IP或者机器名写入就可以了,一台机器一行数据。这里我写的是IP.

  这样就可以了。

  然后,在更改hdfs-site.xml文件中的dfs.replication属性值。

  关于这个值我之前已经解释过了,因为我们现在不是单台机器了,所以将这个节点更改成3或者更大的数,因为咱们就四台机器,所以这里就配置成3可以了。记住: 只能是奇数!

  vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

  

  dfs.replication

  3

  

  这里需要注意的是, 所有的机器都要这样配置 。

  5 、启动Hadoop集群,验证是否成功。

  到此,我们基本完成了一个Hadoop完全分布式的集群配置。下面的内容就是我们来验证一下是否可用。