Hadoop 高可用部署实验原理

转载

我心依旧 2024-11-18 08:44:45

文章标签 Hadoop 高可用部署实验原理 hadoop zookeeper 大数据高可用集群 hdfs 文章分类 Hadoop 大数据

1.修改Linux主机名

2.修改IP

3.修改主机名和IP的映射关系 /etc/hosts

4.关闭防火墙

5.ssh免登陆

这里我为了方便用的root用户

6.安装JDK，配置环境变量等

7.注意集群时间要同步

8.集群部署节点角色的规划（3节点）

依次为node-1节点角色,node-2节点角色,node-3节点角色

Hadoop 高可用部署实验原理_hadoop

Hadoop 高可用部署实验原理_zookeeper_02

Hadoop 高可用部署实验原理_hdfs_03

9.安装配置zooekeeper集群

1.1解压
		tar -zxvf zookeeper-3.4.5.tar.gz -C /export/server
	1.2修改配置
		cd /export/server/zookeeper-3.4.5/conf/
		cp zoo_sample.cfg zoo.cfg
		vim zoo.cfg
		修改：dataDir=/export/data/zkdata
		在最后添加：
		server.1=node-1:2888:3888
		server.2=node-2:2888:3888
		server.3=node-3:2888:3888
		保存退出
		然后创建文件夹(这里和上面dataDir=/export/data/zkdata对应)
		mkdir /export/data/zkdata
		echo 1 > /export/data/zkdata/myid
	1.3将配置好的zookeeper拷贝到其他节点(其他节点没有文件夹要先创建)
		scp -r /export/server/zookeeper-3.4.5/ node-2:/export/server
		scp -r /export/server/zookeeper-3.4.5/ node-3:/export/server
		
		注意：修改node-2、node-3对应/export/data/zkdata/myid内容
		在node-2上：
			echo 2 > /export/data/zkdata/myid
		在node-3上：
			echo 3 > /export/data/zkdata/myid

10.安装配置hadoop集群

1.解压

tar -zxvf /hadoop-2.7.4.tar.gz -C /export/server

2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）

#将hadoop添加到环境变量中
			vim /etc/profile
			export JAVA_HOME=/export/server/jdk1.8.0_65
			export PATH=$PATH:$JAVA_HOME/bin
			export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
			export HADOOP_HOME=/export/server/hadoop-2.7.4
			export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
			export ZOOKEEPER_HOME=/export/server/zookeeper	
			#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
			cd /export/server/hadoop-2.7.4/etc/hadoop

2.1修改hadoop-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_65

2.2修改core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://ns</value>
</property>

<property>
<name>fs.viewfs.mounttable.default.link./ns</name>
<value>hdfs://ns/</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录,默认/tmp/hadoop-${user.name} -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/data/hddata</value>
</property>
<!-- ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node-1:2181,node-2:2181,node-3:2181</value>
</property>
</configuration>

2.3修改hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>

<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>node-1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>node-1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>node-2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>node-2:50070</value>
</property>


<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<!--一下property项的配置，不能都配 -->

<!--  在ns名称空间的两个namenode中用如下配置  -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node-1:8485;node-2:8485;node-3:8485/ns</value>
</property>

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/export/data/hddata/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆, 这里注意用户,我的是root, 生产环境肯定不是root -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
    
<!--<property>
 	<name>dfs.namenode.secondary.http-address</name>
  	<value>node-2:50090</value>
</property>-->
<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>
</configuration>

2.4修改mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
</configuration>

2.5修改yarn-site.xml

<?xml version="1.0"?>
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node-1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node-2</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node-1:2181,node-2:2181,node-3:2181</value>
</property>	
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
</configuration>

2.6修改slaves(slaves是指定子节点的位置，因为要启动HDFS、启动yarn，所以启动HDFS节点上的slaves文件指定的是datanode的位置，启动yarn节点上的slaves文件指定的是nodemanager的位置,我这里datanode和nodemanager都一样)

node-1
node-2
node-3

2.7初始化(----注意：严格按照下面的步骤!!!----)

2.7.1启动zookeeper集群（分别在三个节点上启动zk,注意运行命令时所在的路径）
			
			./zkServer.sh start
			#查看状态：一个leader，两个follower
			./zkServer.sh status
			
2.7.1手动启动journalnode（分别在journalnode所在的节点上执行, 我这里在三台节点都有）
			hadoop-daemon.sh start journalnode
			#运行jps命令检验，node-1、node-2、node-3上多了JournalNode进程
		
2.7.1格式化namenode
			#在node-1上执行命令:
			hdfs namenode -format
			#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生成个hdfs初始化文件，把hadoop.tmp.dir配置的目录下所有文件拷贝到另一台namenode节点所在的机器
			scp -r /export/data/hddata node-2:/export/data/
			
			##也可以这样，建议hdfs namenode -bootstrapStandby
		
2.7.1格式化ZKFC(在active上执行即可,我这里是在node-1)
			hdfs zkfc -formatZK
		
2.7.1启动所有,简单点,当然也可以单独启动(在node-1上执行)
			./start-all.sh

2.7.1启动备份的  resourcemanager (我的在node-2)
			还需要手动在standby上手动启动备份的  resourcemanager
			yarn-daemon.sh start resourcemanager

11.配置完毕，可以统计浏览器访问:

http://node-1:50070
		NameNode 'node-1:9000' (active)
		http://node-2:50070
		NameNode 'node-2:9000' (standby)

12.验证

12.1验证HDFS HA
首先向hdfs上传一个文件
	hadoop fs -put /etc/profile /profile
	hadoop fs -ls /
	然后再kill掉active的NameNode
	kill -9 <pid of NN>
	通过浏览器访问：http://node-2:50070
	NameNode 'node-2:9000' (active)
	这个时候node-2上的NameNode变成了active
	在执行命令：
	hadoop fs -ls /
	-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
	刚才上传的文件依然存在！！！
	手动启动那个挂掉的NameNode
	hadoop-daemon.sh start namenode
	通过浏览器访问：http://node-1:50070
	NameNode 'node-1:9000' (standby)

12.2验证YARN：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

13.完成.补充命令

hdfs dfsadmin -report	 //查看hdfs的各节点状态信息
cluster1n/hdfs haadmin -getServiceState nn1		// 获取一个namenode节点的HA状态
scluster1n/hadoop-daemon.sh start namenode  //单独启动一个namenode进程
./hadoop-daemon.sh start zkfc   //单独启动一个zkfc进程

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：flask和python版本对应关系

下一篇：mysql8 启用native_passw

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯