YARN RM-HA 搭建

高可用： https://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-sit e/ResourceManagerHA.html

1. mapred-site.xm
   指定 mr 作业运行的框架：要么本地运行，要么使用 MRv1，要么使用 yarnl

<property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value>
 </property>

2. yarn-site.xml

<!-- 让 yarn 的容器支持 mapreduce 的洗牌，开启 shuffle 服务 --> <property> 
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value> 
</property> 
<!-- 启用 resourcemanager 的 HA -->
<property> 
  <name>yarn.resourcemanager.ha.enabled</name>               
  <value>true</value> 
</property>
 <!-- 指定 zookeeper 集群的各个节点地址和端口号 --> 
 <property> 
  <name>yarn.resourcemanager.zk-address</name>  
  <value>node2:2181,node3:2181,node4:2181</value> 
 </property> 
 <!-- 标识集群，以确保 RM 不会接管另一个集群的活动。 --> 
 <property> 
  <name>yarn.resourcemanager.cluster-id</name> 
  <value>cluster1</value> 
 </property>
  <!-- RM HA 的两个 resourcemanager 的名字 --> 
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name> 
   <value>rm1,rm2</value> 
 </property> 
<!-- 指定 rm1 的 reourcemanager 进程所在的主机名称 -->
 <property> 
  <name>yarn.resourcemanager.hostname.rm1</name> 
  <value>node3</value>
 </property>
   <!-- 指定 rm2 的 reourcemanager 进程所在的主机名称 --> <property> 
   <name>yarn.resourcemanager.hostname.rm2</name> 
   <value>node4</value> 
 </property>

将配置文件在四台服务器同步

[root@node1 hadoop]# pwd /opt/hadoop-2.6.5/etc/hadoop 
[root@node1 hadoop]#scp mapred-site.xml yarn-site.xml node[234]:`pwd`

node1: 首先启动 HDFS

在 node3 和 node4 上执行命令,启动 ResourceManager：

Node3:
（只能启动本机上的 ResourceManager 和其他节点的 NodeManager）

Node4:
start resourcemanager

​​http://node3:8088​​

高可用演示： node3 上执行： stop resourcemanager http://node4:8088/cluster/cluster 变为 active 的。