彩票走势图

前言

上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。

技术准备

VMware虚拟机、CentOS 6.8 64 bit

安装流程

我们先来回顾上一篇我们完成的单节点的Hadoop环境配置，已经配置了一个CentOS 6.8 并且完成了java运行环境的搭建，Hosts文件的配置、计算机名等诸多细节。

其实完成这一步之后我们就已经完成了Hadoop集群的搭建的一半的工作了，因为我们知道通过虚拟机搭建所搭建的好处就是直接拷贝机器。多台同步进行操作，减少分别配置的时间消耗浪费。这也是虚拟化技术所带来的优势。

下面，咱们进去分布式系统的详细操作过程。

1、首先需要在VMWare中将之前创建的单实例的计算机进行拷贝。

这里根据之前第一篇文章的规划，我们至少需要再克隆出三台计算机，作为DataNode数据节点的数据存储。之前的上一台机器作为Master主节点进行管理。

这里先来梳理一下整个的物理架构图，大家有一个直接的观念和认识，上表中已经和明确了，总共需要5台服务器来使用，四台用来搭建Hadoop集群使用，另外一台（可选）作为MySQL等外围管理Hadoop集群来使用。

我们在开发的时候一般也是直接通过连接外围的这台机器来管理Hadoop整个集群。

根据上面的物理规划图应该对整个架构有一个清晰的认识了，好，咱们进行实操。

关于在VMWare中进行虚拟机的拷贝是一个比较简单的过程。截图如下：

然后，就是下一步就行了，这里需要记住的是，一定要选择克隆一个完整的而不是快照。

然后，根据计算机名输入机器名就可以了。克隆之后的机器如下：

2、配置各个Slave节点的机器信息。

关于各个Slave服务器的配置基本分为如下基本部分：

• 首先需要手动更改各个从节点的计算机名和Hosts文件（必须！）
• 然后配置各个从节点的内存值，在第一篇的文章中我已经分析过了，这里可以将这里的内存值设置的比Master节点少点，（土豪公司忽略！）
• 最后配置的就是存储了，这个自己根据之前的计算公式计算出来就可以了。

首先，进入各个机器中更改Hosts文件和计算机名，在上一篇文章我已经介绍过了，大家可以上一篇翻阅，这里直接写出脚本如下：

vim /etc/sysconfig/network
vim /etc/hosts

计算机名和Hosts配置文件按照之前规划完成就行了，同样网络的IP地址也是按照规划设置成固定的地址。

在配置完这一切之后，重启完各个机器之后，确保各个节点之间可以ping 通（重点！！！）。

然后剩下的内存配置，直接关闭掉虚拟机，在VMWare中进行设置就可以了，很简单。

这里根据需要自行调整，然后如果可以的话，尽量将主节点Master的CUP处理器设置成多路多核，这样设置的原因，我第一篇文章中就已经详细分析过了。

至此，各个服务器的基础配置已经完成了。

经过上面一系列流程，大家是不是发现通过虚拟机拷贝这种方式省去了好多额外的配置时间，比如：装操作系统、下载Hadoop安装包、搭建Java环境等。

3、配置SSH无密码配置。

先来解释下SSH的概念和用途；

SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、DigitalUNIX、Irix，以及其他平台，都可运行SSH。

上面就是SSH的官方含义了，摘自百度百科。

下面，我来总结下SSH在Hadoop集群中的用途。

所谓的SSH简单一句话就是：同一用户无密码登录到各台机器。 其实，就是所有的Hadoop集群中作为分布式的一个计算框架，需要对各个节点的服务进行操作，而操作的过程中需要统一由一个相同的用户进行操作，但是同一用户登录不同的服务器都需要密码或者密钥进行身份验证。为了避免这个验证过程就使用了统一的一种安全协议：SSH。

其实，SSH的原理很简单，就是提前将统一用户的密码进行加密形成密钥进行分发，然后分发到各个服务器中，各个服务器对这个秘钥加入到当前的系统用户组中，这样这个用户登录的时候就不需要输入密码进行登录操作了。

希望，我上面的讲解各位看官能看明白里面的含义。

下面咱们来实际操作：

• 首先进行sshd的配置文件的修改，去掉默认注释，开启SSH验证功能（以root用户进行操作）。

 vim /etc/ssh/sshd_config

 /sbin/service sshd restart

ssh localhost

ssh-keygen -t  rsa -P ''

scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.51:~/

 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

SSH  <远程IP && 域名>

ssh slave01.hadoop

vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/slaves

 vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>

bin/hadoop namenode -format

start-dfs.sh

start-yarn.sh

编辑推荐：