HDFS 联邦集群 hdfs高可用集群搭建

转载

boyboy 2024-03-24 11:18:35

文章标签 HDFS 联邦集群 Hadoop HA HDFS 集群 文章分类 架构后端开发

从0开始搭建Hadoop2.x高可用集群（HDFS篇）

演示目标
演示环境
注意事项
准备虚拟机

关闭防火墙
检查系统时间
修改host
设置免密登录
卸载OpenJDK
安装软件

准备HDFS

配置cote-site.xml
配置hdfs-site.xml
配置slaves
配置hadoop-env
拷贝配置

准备Zookeeper

配置zoo.cfg

启动集群

启动Zookeeper集群
启动HDFS集群

首次启动

验证高可用（HA）

演示目标

搭建双NameNode节点的高可用集群，其中一台节点的状态为Active，另一台是standby。当Active节点发生故障时，standby节点能自动接管并切换到Active状态。

演示环境

软件	备注
VMware Workstation	15.5
CentOS	CentOS-7-x86_64-DVD-1804.iso
JDK	jdk-8u211-linux-x64.tar.gz
Hadoop	hadoop-2.6.5.tar.gz
Zookeeper	zookeeper-3.4.14.tar.gz
下载地址	若有需要请按需下载上述软件

注意事项

文章中所有shell命令都是以root用户进行操作，所以请优先使用su root命令切换用户；
在输入shell命令前先阅读命令注释，以避免遗漏和错误。
可以使用虚拟机快照功能帮助自己在执行了错误的操作后进行回滚。

准备虚拟机

安装WMware Workstation，并使用CentOS7镜像创建三台虚拟机；
配置好三台虚拟机的网络环境使其之间能够相互Ping通（如何设置?），演示中所用的虚拟机网络信息如下：

HOSTNAME	IP
vm1	192.168.0.51
vm2	192.168.0.52
vm3	192.168.0.53

关闭防火墙

依次使用所有虚拟机执行下列命令

# 关闭防火墙
systemctl stop firewalld
# 禁用开机启动
systemctl disable firewalld
# 编辑selinux文件
# 设置SELINUX值等于disabled
# SELINUX=disabled
vim /etc/sysconfig/selinux

检查系统时间

依次使用所有虚拟机执行下列命令

# 查看时区
timedatectl | grep Time
# 设置时区为上海
timedatectl set-timezone Asia/Shanghai
# 打印出当前系统时间
date
# 如果显示出的时间比当前时间快8小时，则执行下列命令
date -s '-8hour'
hwclock -w

修改host

使用虚拟机vm1执行下列命令

# 修改hostname
hostnamectl set-hostname vm1

使用虚拟机vm2执行下列命令

# 修改hostname
hostnamectl set-hostname vm2

使用虚拟机vm3执行下列命令

# 修改hostname
hostnamectl set-hostname vm3

使用虚拟机vm1执行下列命令

# 追加内容到hosts文件
cat >> /etc/hosts << EOF # 回车
> 192.168.0.51 vm1 # 回车
> 192.168.0.52 vm2 # 回车
> 192.168.0.53 vm3 # 回车
> EOF # 回车
# 将hosts文件拷贝到vm2和vm3
# 拷贝完毕后分别使用所有虚拟机执行ping vm1、ping vm2、ping vm3检查网络是否通畅
scp /etc/hosts root@vm2:/etc/hosts
scp /etc/hosts root@vm3:/etc/hosts

设置免密登录

依次使用所有虚拟机执行下列命令

# 登录本机，该操作用于初始化ssh目录
# 如果出现Are you sure you want to continue connecting (yes/no)?请输入：yes
ssh localhost
# 退出登录
exit
# 进入ssh目录
cd ~/.ssh/
# 生成密钥
# 执行后系统会出现多次提示，依次回车即可
ssh-keygen
# 编辑ssh_config文件
# 将StrictHostKeyChecking的值设置为no
# StrictHostKeyChecking no
vim /etc/ssh/ssh_config

使用虚拟机vm1执行下列命令

# 进入ssh目录
cd ~/.ssh/
# 将vm1公钥文件中的内容追加到到authorized_keys文件
cat id_rsa.pub >> authorized_keys
# 分别将vm2和vm3的id_rsa.pub中的内容也追加到vm1的authorized_keys文件中
# 最终vm1的authorized_keys文件拥有所有虚拟机的公钥，文件类容类似如下所示：
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDK4UGWdR1BfeB55eN/5j4f5vG1qzARyZ0IzVbmujdVqeBC3jMJDBU4DiGNH1DlL7M9ga7ocmzIR+/B9u/7f7jQNAejsPNVTo4TUt5f8+f4csH7CSXUVbB8oQrWrpH7hwNIf5RMzCAoEGoDSxm7/AZUM632IRz4ns4GKiJVES871VNDbrtal82mmdVPf84V2YpdgP8FmSbGe3C2UdsS8PzZ3QMb+gMi+jNTKi4UN7dAZxh5v58fBKqyX9sFkvwWCibr2t3MUnHOdAP789i1KTAubWjlthiHhF+CnUn0S0BFTiWfec/hJwYlOo8rOReVdS4ymB/q5kR/5uNFHJUEQrsX root@vm1
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCVBoca02VsaihYD52FnkEEP/f/do/iO6ao/l12EFbnHWivYKbja4CMty/c4Uwowo33ylFVahhlEMornJ76tLtxsOMOPcJby6SJdbmx7Aqy1CVccMU7NrMYnRosnnazIq+tUCrGWhXGAmZ3TUSAC7RNrIAtFkzeYpsylWenexPx+/mbARon8gc0Y3KamcYJjAyK1hVQN3VixxjeNw8i4VfEvxEY74JRjYR63QQUGqptKuDQCBn06BgACIJxaLLNcxCyB5Fb72gOgjIWyG/+azItimxRDAEIqdax47HoKjrE+tpKrq0CIswm1q+NfafO5m06NtAydUzfedtLrAmVLUEX root@vm2
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDp1yt3cYWY3n8oMCGykr8oX1bGEbHWqNMxe2gOsJoBZCMKkqVyM98iajoG5KsZdNZM91+jqH6nbuse6lcDPOMKZ+rY+DqUSW/2tg3VqByAywNL3SW44gPQyKwdgNucAJtfgZdRaYiIglkEm9GT09zGCbUkd7YReNULeuTVx92CXH5jRBNCSHze9kg3s9eHOvKZ2rfNhIf/xqR2wxGlioBD0Ql3/jEAvGwgl2QTIC4BBrYgya8SIEpmaf0t6dIsDbnnzfcHgaZe/VdiQtT7km7Odx/65E/ECl7xYLZetrJS/cvebc5I+t/IP0OBSOeVHtHLux+o/aWBIN44uFcdwTMX root@vm3
# 将authorized_keys文件拷贝到vm2和vm3
scp ~/.ssh/authorized_keys root@vm2:~/.ssh/
scp ~/.ssh/authorized_keys root@vm3:~/.ssh/
# 使用任意虚拟机检查是否能免密登录
ssh vm1 #[vm2、vm3]
# 登录其他虚拟机后切记退出
exit

卸载OpenJDK

依次使用所有虚拟机执行下列命令

# 查看系统自带的OpenJDK信息
rpm -qa | grep java
# 显示信息类似如下：
tzdata-java-2018c-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64
java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
# 卸载系统自带的OpenJDK（以下每行卸载的软件名称应该以自己机器为主，请先检查）
# 卸载完成后输入java命令，如果提示command not found...则说明卸载成功
yum -y remove java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64 \
java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 \
java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64 \
java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64

# 如果卸载失败则检查虚拟机外网是否通畅，或者使用rpm命令卸载
rpm -e --nodeps #加上你要卸载的软件名称

安装软件

将下载好的JDK、Hadoop、Zookeeper压缩包拷贝到vm1机器的/opt目录下，可以使用Xftp（官方下载地址）工具进行拷贝；
使用tar -zxvf xxx.tar.gz依次解压三个压缩包。
配置环境变量：

使用虚拟机vm1执行下列命令

# 编辑profile文件
vim /etc/profile
# 在文件内容开头添加以下内容
export JAVA_HOME=/opt/jdk1.8.0_211
export HADOOP_HOME=/opt/hadoop-2.6.5
export ZK_HOME=/opt/zookeeper-3.4.14
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
export PATH=$ZK_HOME/bin:$PATH
# 使环境变量立即生效
# 完成后输入java命令检查是否设置成功
source /etc/profile
# 将解压后的三个软件拷贝到vm2和vm3
scp -rp /opt/jdk1.8.0_211/ root@vm2:/opt/
scp -rp /opt/jdk1.8.0_211/ root@vm3:/opt/
scp -rp /opt/hadoop-2.6.5/ root@vm2:/opt/
scp -rp /opt/hadoop-2.6.5/ root@vm3:/opt/
scp -rp /opt/zookeeper-3.4.14/ root@vm2:/opt/
scp -rp /opt/zookeeper-3.4.14/ root@vm3:/opt/
# 将profile文件拷贝到vm2和vm3
scp /etc/profile root@vm2:/etc/
scp /etc/profile root@vm3:/etc/

使用虚拟机vm2执行下列命令

# 使环境变量立即生效
# 完成后输入java命令检查是否设置成功
source /etc/profile

使用虚拟机vm3执行下列命令

# 使环境变量立即生效
# 完成后输入java命令检查是否设置成功
source /etc/profile

准备HDFS

查看官方文档的方式：

官方在线文档；
在Windows中打开hadoop-xxx.tar.gz压缩包中根目录下的\share\doc\hadoop\index.html可以查看当前版本的离线文档；

节点部署情况：

	NameNode	DataNode	JournalNode	Zookeeper
vm1	✔	✔	✔	✔
vm2	✔	✔	✔	✔
vm3		✔	✔	✔

配置cote-site.xml

使用虚拟机vm1执行下列命令

# 进入Hadoop配置文件目录
cd /opt/hadoop-2.6.5/etc/hadoop
# 编辑core-site.xml
vim core-site.xml

<!-- core-site.xml文件配置如下 -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hdfs-cluster</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>vm1:2181,vm2:2181,vm3:2181</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.6.5/tmp</value>
  </property>
</configuration>

配置hdfs-site.xml

使用虚拟机vm1执行下列命令

# 进入Hadoop配置文件目录
cd /opt/hadoop-2.6.5/etc/hadoop
# 编辑hdfs-site.xml
vim hdfs-site.xml

<!-- hdfs-site.xml文件配置如下 -->
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>hdfs-cluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.hdfs-cluster</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.hdfs-cluster.nn1</name>
    <value>vm1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.hdfs-cluster.nn2</name>
    <value>vm2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.hdfs-cluster.nn1</name>
    <value>vm1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.hdfs-cluster.nn2</name>
    <value>vm2:50070</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://vm1:8485;vm2:8485;vm3:8485/hdfs-cluster</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.hdfs-cluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop-2.6.5/data/journalnode</value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置slaves

使用虚拟机vm1执行下列命令

# 进入Hadoop配置文件目录
cd /opt/hadoop-2.6.5/etc/hadoop
# 编辑slaves
vim slaves
# slaves文件配置如下，使用回车换行
vm1
vm2
vm3

配置hadoop-env

使用虚拟机vm1执行下列命令

# 编辑hadoop.env.sh
vim /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
# 将export JAVA_HOME=${JAVA_HOME}修改为下列内容
export JAVA_HOME=/opt/jdk1.8.0_211

拷贝配置

使用虚拟机vm1执行下列命令

# 将vm1上配置好的配置文件拷贝到vm2和vm3
scp -rp /opt/hadoop-2.6.5/etc/hadoop root@vm2:/opt/hadoop-2.6.5/etc/
scp -rp /opt/hadoop-2.6.5/etc/hadoop root@vm3:/opt/hadoop-2.6.5/etc/

准备Zookeeper

使用vm1、vm2、vm3搭建Zookeeper集群。

配置zoo.cfg

使用虚拟机vm1执行下列命令

# 进入Zookeeper配置文件目录
cd /opt/zookeeper-3.4.14/conf/
# 编辑zoo.cfg文件
vim zoo.cfg
# 添加以下内容：
tickTime=2000
dataDir=/opt/zookeeper-3.4.14/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=vm1:2888:3888
server.2=vm2:2888:3888
server.3=vm3:2888:3888
# 将zoo.cfg拷贝到vm2和vm3
scp /opt/zookeeper-3.4.14/conf/zoo.cfg root@vm2:/opt/zookeeper-3.4.14/conf/
scp /opt/zookeeper-3.4.14/conf/zoo.cfg root@vm3:/opt/zookeeper-3.4.14/conf/
# 创建目录
mkdir /opt/zookeeper-3.4.14/data -p
# 在$dataDir路径下创建myid文件，文件内容为1
cd /opt/zookeeper-3.4.14/data
echo '1' > myid

使用虚拟机vm2执行下列命令

# 创建目录
mkdir /opt/zookeeper-3.4.14/data -p
# 在$dataDir路径下创建myid文件，文件内容为2
cd /opt/zookeeper-3.4.14/data
echo '2' > myid

使用虚拟机vm3执行下列命令

# 创建目录
mkdir /opt/zookeeper-3.4.14/data -p
# 在$dataDir路径下创建myid文件，文件内容为3
cd /opt/zookeeper-3.4.14/data
echo '3' > myid

启动集群

在启动过程中，如果有问题，应该优先查看日志。

查看日志可以使用tail -f -n 100 /xx/xxx进行查看；
Zookeeper日志查看zookeeper.out文件；
HDFS日志查看Hadoop根目录下的logs文件夹；

启动Zookeeper集群

依次使用所有虚拟机执行下列命令

# 启动Zookeeper
zkServer.sh start

启动HDFS集群

全面启动HDFS使用start-dfs.sh；
全面停止HDFS使用stop-dfs.sh；
首次启动HDFS集群时，不能直接使用start-dfs.sh，此时需要一些额外操作，主要是为了格式化NameNode。首次启动操作如下：

首次启动

使用虚拟机vm1执行下列命令

# 启动所有JournalNode，注意是hadoop-daemons.sh而不是hadoop-daemon.sh，两者区别在于多了一个s，前者是启动所有节点的jn
hadoop-daemons.sh start journalnode
# 格式化NameNode
hdfs namenode -format
# 启动NameNode
hadoop-daemon.sh start namenode

使用虚拟机vm2执行下列命令

# 拷贝vm1上namenode的格式化数据
hdfs namenode -bootstrapStandby
# 启动NameNode
hadoop-daemon.sh start namenode
# 初始化ZKFC
hdfs zkfc -formatZK
# 停止所有HDFS相关服务
stop-dfs.sh
# 重新启动所有HDFS相关服务
start-dfs.sh

验证高可用（HA）

在Windows中使用浏览器打开两个NameNode的地址：

http://192.168.0.51:50070
http://192.168.0.52:50070

如图所示，此时vm1虚拟机上的NameNode节点为Active状态：
杀死状态为Active的NameNode，此时是vm1上的NameNode。

使用虚拟机vm1执行下列命令

# 查看Namenode的pid
jps
# 显示结果如下
17779 DFSZKFailoverController
17335 NameNode
15144 QuorumPeerMain
17609 JournalNode
18089 Jps
17439 DataNode
# 杀掉NameNode
kill -9 17335

刷新http://192.168.0.52:50070，检查状态是否从standby转为Active。
如果以上步骤都没问题，则HDFS高可用集群搭建完毕，如果存在问题，请检查以下几点：

检查Zookeeper和Hadoop的配置文件是否正确配置、日志是否有错误输出；
检查jps命令显示的服务数是否正确；
检查是否正确的完成了首次启动中的操作说明。

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：彩色图像均值滤波的结果是彩色图像吗图像均值滤波过程

下一篇：freemaker 生成动态列表 freemarker动态生成word表格

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯