hadoop集群高可用 hdfs高可用集群搭建

转载

mob64ca14038b36 2024-01-23 22:00:50

文章标签 hadoop集群高可用 hadoop hdfs 大数据 linux 文章分类 Hadoop 大数据

HDFS高可用性集群搭建

1.环境准备

	主机	从机	从机
主机名	anshun112	anshun113	anshun114
hostname	anshun112	anshun113	anshun114
IP地址	192.168.153.112	192.168.153.113	192.168.153.114
用户名	zhangyong	zhangyong	zhangyong
内存大小	/boot 200M /swap 2048M / 剩余空间	/boot 200M /swap 2048M / 剩余空间	/boot 200M /swap 2048M / 剩余空间
防火墙	service iptables stop chkconfig iptables off（开机关闭）	service iptables stop chkconfig iptables off	service iptables stop chkconfig iptables off
网路配置	ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.112 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8	ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.113 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8	ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.114 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8
免密登录	已配置	已配置	已配置

2. 集群规划表

anshun112	anshun113	anshun114
NN1	NN2
ZKFC	ZKFC
JN	JN	JN
ZK	ZK	ZK
DN	DN	DN

3. 安装软件

在一台机器上安装Java、Hadoop、zookeeper，并配置环境变量，并分发到集群其他机器
1. 拷贝安装文件到/home/software_pack，两个tar包
2. tar -zxf h"+tab" -C /home/software
3. tar -zxf j"+tab" -C /home/software
4. tar -zxf z"+tab" -C /home/software（需要配置zookeeper环境，详情查看：一篇文章搞定大数据Zookeeper，让你少走很多弯路）
5. 配置环境变量：sudo vim /etc/profile
6. 在文件末尾添加

#JAVA_HOME
export JAVA_HOME=/home/software/jdk1.8.0_144
#HADOOP_HOME
export HADOOP_HOME=/home/software/hadoop-2.9.2
#ZK_HOME
export ZK_HOME=/home/software/zookeeper-3.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin

source /etc/profile

3. 分发脚本

在/bin/目录下创建xsync，更改执行权限

chmod +x xsync

编辑：vim xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=112; host<115; host++)); do
        echo ------------------- anshun$host --------------
        rsync -av $pdir/$fname $user@anshun$host:$pdir
done

4. 执行分发脚本

分发安装软件：

sudo xsync /home/software

分发环境变量配置

sudo xsync /etc/profile

分发的三台虚拟机分别执行

source /etc/profile

5. 配置HDFS环境

所有配置文件都在$HADOOP_HOME/etc/hadoop下

配置

export JAVA_HOME=/home/software/jdk1.8.0_144
export HADOOP_CONF_DIR=/home/software/hadoop-2.9.2/etc/hadoop

配置core-site.xml

<configuration>
		<!--指定hdfs的nameservice，为整个集群起一个别名-->
		<property>
		 <name>fs.defaultFS</name>
		 <value>hdfs://ns</value>
		</property>
	
		<!--指定Hadoop数据存放目录-->
		<property>
		 <name>hadoop.tmp.dir</name>
		 <value>/home/software/hadoop-2.9.2/tmp</value>
		</property>
	
		<!--指定Zookeeper的地址-->
		<property>
		 <name>ha.zookeeper.quorum</name>
		 <value>anshun112:2181,anshun113:2181,anshun114:2181</value>
		</property>
	</configuration>

配置hdfs-site.xml

<configuration>
		<!--执行HDFS的nameservice为ns，注意此处的需要和core-site.xml中的
		名称保持一致-->
		<property>
		 <name>dfs.nameservices</name>
		 <value>ns</value>
		</property>
		<!--ns集群中有两个namenode，分别为nn1，nn2-->
		<property>
		 <name>dfs.ha.namenodes.ns</name>
		 <value>nn1,nn2</value>
		</property>
		<!--配置nn1的RPC的通信地址-->
		<property>
		 <name>dfs.namenode.rpc-address.ns.nn1</name>
		 <value>anshun112:9000</value>
		</property>
		<!--配置nn1的http通信地址-->
		<property>
		 <name>dfs.namenode.http-address.ns.nn1</name>
		 <value>anshun112:50070</value>
		</property>
		<!--配置nn2的RPC的通信地址-->
		<property>
		 <name>dfs.namenode.rpc-address.ns.nn2</name>
		 <value>anshun113:9000</value>
		</property>
		<!--配置nn2的http通信地址-->
		<property>
		 <name>dfs.namenode.http-address.ns.nn2</name>
		 <value>anshun113:50070</value>
		</property>
		<!-- 指定NameNode1的元数据存放在JournalNode上面，NameNode2
		可以从JournalNode上面获取信息，从而达到热备的效果-->
		<property>
		 <name>dfs.namenode.shared.edits.dir</name>
		 <value>qjournal://anshun112:8485;anshun113:8485;anshun114:8485/ns</value>
		</property>
		<!--配置JournalNode的数据存放在本地硬盘上-->
		<property>
		 <name>dfs.journalnode.edits.dir</name>
		 <value>/home/software/hadoop-2.9.2/tmp/journal</value>
		</property>
		<!--开启NameNode在遇到故障时自动切换-->
		<property>
		 <name>dfs.ha.automatic-failover.enabled</name>
		 <value>true</value>
		</property>
		<!--配置遇到失败自动切换的实现方式-->
		<property>
		 <name>dfs.client.failover.proxy.provider.ns</name>
		 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>
		<!--配置隔离机制-->
		<property>
		 <name>dfs.ha.fencing.methods</name>
		 <value>sshfence</value>
		</property>
		<!--配置隔离机制时需要使用ssh免登录-->
		<property>
		 <name>dfs.ha.fencing.ssh.private-key-files</name>
		 <value>/root/.ssh/id_rsa</value>
		</property>
		<!--配置namenode存放的元数据目录，此项不配置也可以，如果不配置那
		么则默认存放到hadoop.tmp.dir目录下-->
		<property>
		 <name>dfs.namenode.name.dir</name>
		 <value>file:///home/software/hadoop-2.9.2/tmp/hdfs/name</value>
		</property>
		<!--配置datanode存放数据的目录，此项也可以不配置，同上！-->
		<property>
		 <name>dfs.datanode.data.dir</name>
		 <value>file:///home/software/hadoop-2.9.2/tmp/hdfs/data</value>
		</property>
		<!--配置副本的数量-->
		<property>
		 <name>dfs.replication</name>
		 <value>3</value>
		</property>
		<!--设定hdfs的用户操作权限，false则表示关闭验证，任何人都可以操
		作-->
		<property>
		 <name>dfs.permissions</name>
		 <value>false</value>
		</property>
	</configuration>

配置yarn-site.xml

<configuration>
		<!--配置yarn的高可用-->
		<property>
		 <name>yarn.resoucemanager.ha.enabled</name>
		 <value>true</value>
		</property>
		<!--指定两个resourcemanager的名称-->
		<property>
		 <name>yarn.resoucesmanager.ha.rm-ids</name>
		 <value>rm1,rm2</value>
		</property>
		<!--配置rm1的主机-->
		<property>
		 <name>yarn.resourcemanager.hostname-rm1</name>
		 <value>anshun112</value>
		</property>
		<!--配置rm2的主机-->
		<property>
		 <name>yarn.resourcemanager.hostname-rm2</name>
		 <value>anshun114</value>
		</property>
		<!--执行rm恢复机制实现类-->
		<property>
		 <name>yarn.resourcemanager.store.class</name>
		 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
		</property>
		
		<!--配置Zookeeper的地址-->
		<property>
		 <name>yarn.resourcemanager.zk-address</name>
		 <value>anshun112:2181,anshun113:2181,anshun114:2181</value>
		</property>
		<!--给yarn集群起个别名-->
		<property>
		 <name>yarn.resoucemanager.cluster-id</name>
		 <value>ns-yarn</value>
		</property>
		<!--指定nodemanager启动时加载server的方式为shuffle server-->
		<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
		</property>
		<!--指定resourcemanager地址-->
		<property>
		 <name>yarn.resourcemanager.hostname</name>
		 <value>anshun114</value>
		</property>
	</configuration>

配置mapred-site.xml

<configuration>
		<property>
		 <name>mapreduce.framework.name</name>
		 <value>yarn</value>
		</property>
	</configuration>

配置Slaves

anshun112
anshun113
anshun114

分发配置文件

xsync /home/software/hadoop-2.7.2/etc

第一次启动集群

i. 在三台服务器中启动zk：

 start

ii. 在zk的leader节点上执行格式化命令

hdfs zkfc -formatZK

iii. 在三台服务器上启动journalnode

 start journalnode

iv. 在第一台节点上格式化NameNode

hadoop namenode -format

v. 在第一台节点上启动NameNode

 start namenode

vi. 在第二台节点上格式化NameNode

hdfs namenode -bootstrapStandby

vii. 在第二台节点上启动NameNode

 start namenode

viii. 在三台服务器上启动DataNode。

 start datanode

ix. 在第一和第二台节点上，启动zkfc

 start zkfc

x. 在第一台节点上启动yarn：

xi. 在第三台节点上启动ResourceManager

 start resourcemanager

以后启动和停止集群

启动：
	停止：

如果集群出了问题

查看日志文件，查找具体错误

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：java异步返回结果给前台 http异步返回

下一篇：if语句的用法 mysql if语句的用法C语言

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

hadoop集群高可用 hdfs高可用集群搭建

hadoop集群高可用 hdfs高可用集群搭建

HDFS高可用性集群搭建

1.环境准备

2. 集群规划表

3. 安装软件

3. 分发脚本

4. 执行分发脚本

5. 配置HDFS环境

51CTO博客