CDH上怎么开启hdfs balance cdh hdfs高可用

转载

架构设计师之光 2024-04-19 17:41:04

文章标签 hadoop 大数据 hdfs zookeeper 文章分类 架构后端开发

集群部署情况

HOST	JN	NN	SNN	DN	ZKFC	ZK
node01	#	#	-	-	#	-
node02	#	#	#	#	#	#
node03	#	-	-	#	-	#
node04	-	-	-	#	-	#

基础操作

环境

centos7.5
jdk1.8
zookeeper 3.7.1
hadoop 2.6.5

基础设施

安装jdk

基本操作，不会的自行百度。

关闭防火墙

systemctl stop firewalld
	systemctl disable firewalld

关闭 selinux

vim /etc/selinux/config
	修改	SELINUX=disabled

做时间同步

yum install ntp  -y
	vi /etc/ntp.conf
		server

ssh免密：

ssh免密： ssh localhost 1,验证自己还没免密 2,被动生成了 /root/.ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

如果A 想免密的登陆到B：
A：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

B：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

结论：B包含了A的公钥，A就可以免密的登陆

主要目的

启动脚本的机器需要将公钥分发给别的节点
在HA模式下，每一个NN身边会启动ZKFC，
ZKFC会用免密的方式控制自己和其他NN节点的NN状态

安装

安装Zookeeper

下载

下载地址：https://zookeeper.apache.org/releases.html
本次安装使用zookeeper-3.7.1。下载apache-zookeeper-3.7.1-bin.tar.gz，一定要下载包名带bin的。

tar xf apache-zookeeper-3.7.1-bin.tar.gz
mv 	apache-zookeeper-3.7.1 zookeeper-3.7.1
mv zookeeper-3.7.1 /opt/bigdata/

修改配置文件

cd /opt/bigdata/zookeeper-3.7.1/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 主要修改dataDir
dataDir=/var/bigdata/hadoop/zk
# 添加服务
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
# 保存退出

只要在其中一台做好配置，通过scp复制到其他zk服务器即可。

scp -r ./zookeeper-3.7.1  node02:`pwd`
scp -r ./zookeeper-3.7.1  node03:`pwd`
scp -r ./zookeeper-3.7.1  node04:`pwd`
# 初始化myid 
#node02
echo 1 >  /var/bigdata/hadoop/zk/myid
#node03
echo 2 >  /var/bigdata/hadoop/zk/myid
#node04
echo 3 >  /var/bigdata/hadoop/zk/myid

配置环境变量

vim /etc/profile
# 添加ZOOKEEPER_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.7.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

# 保存后，记得操作，否则不生效
source /etc/profile

启动命令

 start
 start-foreground(启动zookeeper服务，并且查看运行过程中的异常。)
# 查看状态
 status

安装Hadoop

下载

下载地址：https://hadoop.apache.org/releases.html
本次安装使用hadoop-2.6.5。下载hadoop-2.6.5.tar.gz。

tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata

添加环境变量

vim /etc/profile
# 添加ZOOKEEPER_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.7.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

# 保存后，记得操作，否则不生效
source /etc/profile

修改配置

配置hadoop的角色

# 必须给hadoop配置javahome要不ssh过去找不到
cd   $HADOOP_HOME/etc/hadoop
vi 
# 修改JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64

配置core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

配置hdfs-site.xml

<property>
      <name>dfs.replication</name>
      <value>2</value>
  </property>

  <property>
      <name>dfs.namenode.name.dir</name>
      <value>/var/bigdata/hadoop/ha/dfs/name</value>
  </property>


  <property>
      <name>dfs.datanode.data.dir</name>
      <value>/var/bigdata/hadoop/ha/dfs/data</value>
  </property>


#一对多，逻辑到物理节点的映射
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>

#JN在哪里启动，数据存那个磁盘
<property>
  <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/bigdata/hadoop/ha/dfs/jn</value>
</property>

#HA角色切换的代理类和实现方法，使用ssh免密
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>

#开启自动化： 启动zkfc
 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

只要在其中一台做好配置，通过scp复制到其他zk服务器即可。

scp -r ./hadoop-2.6.5  node02:`pwd`
scp -r ./hadoop-2.6.5  node03:`pwd`
scp -r ./hadoop-2.6.5  node04:`pwd`

启动

启动JournalNode

在node01、node02、node03三台虚拟机分别启动

 start journalnode 
cd $HADOOP_HOME/logs
#查看是否启动成功，一般看最后一个日志文件
tail -f hadoop-root-journalnode-node03.log

格式化NameNode

选择一台做NN格式化：hdfs namenode -format（只有第一次搭建做，以后不用做）。
在node01执行如下

hdfs namenode -format
# 检查clusterID
cat /var/bigdata/hadoop/ha/dfs/name/current/VERSION

在部署journalnode的服务器查看日志，本次是node02和node03

cd /opt/bigdata/hadoop-2.6.5/logs
# 查看日志里面的cid是否等于上面的VERSION里面的clusterID
tail -f hadoop-root-journalnode-node03.log
# 查看VERSION里面的clusterID是否等于上面的VERSION里面的clusterID
cat /var/bigdata/hadoop/ha/dfs/jn/mycluster/current/VERSION

启动NameNode

启动格式化的NN ，以备另外一台同步(不能格式化，否则clusterID不一致)。
本次启动node01。

 start namenode

启动node02，会从node01同步元数据

hdfs namenode -bootstrapStandby

格式化Zookeeper

只有第一次搭建做，以后不用做
在node01执行。

hdfs zkfc  -formatZK

启动

在node01

  
# 检查下面目录，发现edits开始同步
[root@node03 current]# pwd
/var/bigdata/hadoop/ha/dfs/jn/mycluster/current
[root@node03 current]# ll
total 1036
-rw-r--r-- 1 root root       0 Dec 28 03:28 committed-txid
-rw-r--r-- 1 root root 1048576 Dec 28 03:28 edits_inprogress_0000000000000000001
-rw-r--r-- 1 root root       2 Dec 28 03:28 last-promised-epoch
-rw-r--r-- 1 root root       2 Dec 28 03:28 last-writer-epoch
drwxr-xr-x 2 root root       6 Dec 28 03:03 paxos
-rw-r--r-- 1 root root     154 Dec 28 03:03 VERSION

检查NameNode服务器哪台是抢到锁，哪台就是主节点。


[zk: localhost:2181(CONNECTED) 5] ls /hadoop-ha/mycluster
[ActiveBreadCrumb, ActiveStandbyElectorLock]

[zk: localhost:2181(CONNECTED) 6] get /hadoop-ha/mycluster/ActiveStandbyElectorLock
        myclusternn1node01 �>(�

在浏览器分别访问node01:50070和node02:50070，查看各自状态。

CDH上怎么开启hdfs balance cdh hdfs高可用_zookeeper