Flink on yarn缺点 flink on yarn ha

Flink on Yarn -CDH5部署

1.1 Flink模式

Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式
这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源

1.2 Yarn模式部署

独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。

但是Flink主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还选择Yarn模式。把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上.Flink会根据运行在JobManger上的job的需要的slot的数量动态的分配TaskManager资源

1.2.1 Yarn模式配置

2. 下载Flink1.12.0的安装包
   https://archive.apache.org/dist/flink/flink-1.12.0/



3. 上传到/opt目录下，解压，重命名

mv ink-1.12.0 flink-yarn

1. 配置环境变量HADOOP_CLASSPATH和HADOOP_CONF_DIR。
   新建/etc/profile.d/my.sh文件，并在其中添加配置

export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn/

分发环境变量到要安装的3个节点上，并分别执行如下命令，使之生效

source /etc/profile.d/my.sh

1.2.2 Yarn模式高可用

Yarn模式的高可用和Standalone模式的高可用原理不一样。

Standalone模式中, 同时启动多个Jobmanager, 一个为leader其他为standby的, 当leader挂了, 其他的才会有一个成为leader。（依赖）

yarn的高可用是同时只启动一个Jobmanager, 当这个Jobmanager挂了之后, yarn会再次启动一个, 其实是利用的yarn的重试次数来实现的高可用.

1. 登录CDH管理客户端，进入yarn配置，搜索框输入：max-attempts，将ApplicationMaster重试次数修改为4
2. 回到主页面重启相关的组件
3. 在flink-conf.yaml中添加配置

yarn.application-attempts: 3
high-availability: zookeeper
high-availability.storageDir: hdfs://mn1.bigdata.newcapec.org:8020/flink/yarn/ha
high-availability.zookeeper.quorum: cm.bigdata.newcapec.org:2181,mn1.bigdata.newcapec.org:2181,mn2.bigdata.newcapec.org:2181
high-availability.zookeeper.path.root: /flink-yarn
high-availability.cluster-id: /cluster_flink_yarn

1. 修改bin/yarn-session.sh，添加配置

#操作hdfs的用户

export HADOOP_USER_NAME=hdfs

5. 将/opt/flink-yarn/ 文件夹同步到另外2台节点上
6. 在其中一台启动yarn-session

bin/yarn-session.sh -d

5. 启动一个编写好的任务。/opt/flink-yarn目录下jar包已上传
   一个窗口使用9899端口发送数据

进入/opt/flink-yarn目录下启动任务

bin/flink run -c com.along.pratice.BoundedStreamWorldCount ./flink01-1.0-SNAPSHOT.jar

8. 根据提示访问Flink页面
9. 产看任务运行结果
10. 验证高可用
    打开yarn webUI，查看任务列表，找到Flink session cluster，查找JobManager进程所在的节点![image-20210420164016281]

进入任务.可知在dn3上

连接dn3，输入jps命令

29618 YarnSessionClusterEntrypoint

杀掉29618进程

[root@dn3 ~]# kill -9 29618

刷新任务页面

连接dn2，发现JobManager进程YarnSessionClusterEntrypoint已经启动

root@dn2 ~]# jps
5376 Application
23378 YarnChild
26676 YarnSessionClusterEntrypoint