hadoop 需要几个节点部署 hadoop多节点配置

1、选定一台机器作为 Master
2、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3、在 Master 节点上安装 Hadoop，并完成配置
4、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5、将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
6、在 Master 节点上开启 Hadoop

创建hadoop用户

如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。

sudo useradd -m hadoop -s /bin/bash

设置密码，按提示输入两次密码：

sudo passwd 你要设置的密码

可为 hadoop 用户增加管理员权限，方便部署

sudo adduser hadoop sudo

切换到刚创建的hadoop用户

su hadoop

更新apt

用 hadoop 用户登录后，先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。

sudo apt-get update

下面可以安装一个vim可以方便地修改配置文件

sudo apt-get install vim

安装SSH、配置SSH无密码登陆（很重要的一步）

Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

SSH首次登陆提示，输入 yes 。然后按提示输入上边设置的密码，这样就登陆到本机了。
这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了。

安装Java环境

安装openjdk

sudo apt-get install openjdk-8-jre openjdk-8-jdk

安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。

dpkg -L openjdk8-jdk | grep '/bin/javac'

接着需要配置一下 JAVA_HOME 环境变量：

vim ~/.bashrc        #如果不会vim的用法可以自行百度

在文件最前面添加如下单独一行（注意 = 号前后不能有空格）

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

接着还需要让该环境变量生效，执行如下代码：

source ~/.bashrc    # 使变量设置生效

设置好后我们来检验一下是否设置正确：

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样
这样之后，Java环境配好了。

安装hadoop

hadoop的下载网站（我下的版本是2.9.2）
下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的
选择将 Hadoop 安装至 /usr/local/ 中：`

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version

以上只是一个节点的准备工作，我们的是一个主节点，两个从节点。因此另外两个从节点也要进行相同的工作。为了简化刚才重复的操作步骤，我们可以克隆两个虚拟机。

网络配置

假设集群所用的节点都位于同一个局域网。

如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连。（3个节点都要这样）

Linux 中查看节点 IP 地址的命令为 ifconfig（第一次用这个命令可能需要安装：sudo apt-get install net-tools）查看inet 地址，即

由于这样它的IP地址会根据物理IP的改变而改变，所以我们要将它设置成静态IP：

1.改为桥接模式    #上一步已经完成
2.查看网卡编号    #也就是上一步看的inet地址
3.sudo vi /etc/network/interfaces
原来里面的东西不变，再添加
auto ens33
iface ens33 inet static
address 192.168.1.100        # address地址三个节点之间不能相同
netmask 255.255.255.0
gateway 192.168.1.1          # gateway前面三项要与address前面三项相同，最后一项必须为1

4.重启网络
sudo /etc/init.d/networking restart
5.设置DNS
sudo vi /etc/systemd/resolved.conf

DNS=8.8.8.8 223.5.5.5        # 在原文件里面的DNS后面加，将DNS前的#去掉

6.重启ubuntu

为了便于区分，可以修改各个节点的主机名（在终端标题、命令行中可以看到主机名，以便区分）。

sudo vim /etc/hostn

可将主节点改为Master，两个从节点分别改为Slave1、Slave2

然后执行如下命令修改自己所用节点的IP映射：

sudo vim /etc/hosts

映射关系一定要对应准确，各个节点的IP，就是上面address地址。

修改完成后需要重启一下，重启后在终端中才会看到机器名的变化。接下来的教程中请注意区分 Master 节点与 Slave 节点的操作。

注意：网络配置需要在所有节点完成

配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

ping Master -c 3   # 只ping 3次，否则要按 Ctrl+c 中断
ping Slave1 -c 3
ping Slave2 -c 3

这样就ping通了

SSH无密码登陆节点

首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

cat ./id_rsa.pub >> ./authorized_keys

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave1 节点：

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

执行 scp 时会要求输入 Slave1 上 hadoop 用户的密码，输入完成后会提示传输完毕，如下图所示：

接着在 Master 节点将上公匙传输到 Slave2 节点：

scp ~/.ssh/id_rsa.pub hadoop@Slave2:/home/hadoop/

结束标志同Slave1

接着在 Slave1 节点上，将 ssh 公匙加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了

接着在 Slave2 节点上，将 ssh 公匙加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了

在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验，如下图所示：

ssh Slave2

我测试的Slave2，同理可以测试Slave1.

配置PATH变量

将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了
首先执行 vim ~/.bashrc加入一行：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存后执行 source ~/.bashrc 使配置生效。

配置集群/分布式环境

首先切换到配置文件目录下：

cd /usr/local/hadoop/etc/hadoop

1, 文件 slaves

vim slaves

将文件中原来的 localhost 删除，只添加两行内容：

Slave1
Slave2

2, 文件 core-site.xml 改为下面的配置：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

3, 文件 hdfs-site.xml，我们有两个 Slave 节点，所以 dfs.replication 的值设为2：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4, 文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template）

mv  mapred-site.xml mapred-site.xml.template

然后配置修改如下：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

5, 文件 yarn-site.xml：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。

cd /usr/local
sudo rm -r ./hadoop/tmp      # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop
scp ./hadoop.master.tar.gz Slave2:/home/hadoop

在 Slave1 节点上执行：

sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

在 Slave2 节点上执行：

sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

首次启动(仅首次)需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

接着启动 hadoop，启动需要在 Master 节点上进行：

start-dfs.sh    # 开启Master上的namenode、SecondrryNameNode进程，开启Slave1、Slave2上的datanode进程
start-yarn.sh   # 开启Master上的ResourceManager进程，开启Slave1、Slave2上的NodeManager进程
mr-jobhistory-daemon.sh start historyserver   #开启JobHistoryServer进程

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程

hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ， ，则说明集群启动成功。（我的是两个从节点 Live datanodes应该是2）

这样hadoop集群（完全分布）就配置成功了