flink 1.9.2
版本搭建的HA JM存在bug:
明明在node01, node02
两个节点上都有JM,但是孰是activing
,孰是standby
状态无法区分。Spark
是有明确的状态显示的。
分别单独执行jobmanager.sh taskmanager.sh
即可:
HDFS
用于保存JM的元数据信息,flink最擅长的是进行有状态的计算,因此也就需要对大量数据进行存储:
vim masters
:
将所有的JM都加进来:
要将修改后的配置文件同步到其他节点:
要先启动HDFS和zk。
要想将flink
数据保存到hdfs
,必须先下载这个插件:并将其放到flink
的lib
目录下。每个节点都要放。