hadoop3集群 需要开放哪些端口

一、克隆三台主机（hadoop102 hadoop103 hadoop104）

以master为样板机克隆三台出来，克隆前先把master关机

按照上面的步骤克隆其他两个就可以了，记得修改ip和hostname

二、编写集群同步脚本

1. 在/home/attest/ 创建bin目录，在/home/attest/bin目录下创建集群同步脚本

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo "Not Enough Arguement!"
    exit
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

2. 给脚本添加执行权限
3. 测试脚本

测试成功

4. SSH无密登录配置

二、集群配置

集群规划如下：

1. 配置core-site.xml
   
2. 配置hdfs-site.xml（还是在原来的目录下）
3. 配置yarn-site.xml（还是在原来的目录下）
4. 配置mapred-site.xml（还是在原来的目录下）
5. 分发文件
6. 配置workers
   
   分发文件

三、启动集群

1. 启动HDFS
   第一启动需要初始化NN
2. 启动yarn

四、配置历史服务器

1. 配置mapred-site.xml
2. 在hadoop102启动历史服务器
3. 配置日志的聚集，配置yarn-site.xml
4. 关闭HistoryServer
5. 集群时间同步
   查看hadoop102服务状态和开机自启动状态（如果开着就关掉）
   
   
   修改hadoop102的ntp.conf配置文件
   
   修改hadoop102的/etc/sysconfig/ntpd 文件
   
   
   重新启动ntpd服务
   
   关闭其他节点上ntp服务和自启动（使用root用户）
   
   
   在其他机器配置1分钟与时间服务器同步一次