本系列是针对 Flink 源码进行的一系列探究过程,旨在通过 Flink 源码全面地、详细地了解 Flink 原理
写过 Flink 程序的朋友都知道,Flink 程序的第一行代码就是创建可执行环境,如下:
根据 getExecutionEnvironment 可以自动获取可执行环境,那么具体过程究竟是怎样的呢?
接下来我们从 StreamExecutionEnvironment 说起
以 getExecutionEnvironment 开篇
StreamExecutionEnvironment.java
StreamExecutionEnvironment 方法最终还是调用 getExecutionEnvironment(Configuration configuration) 方法
其中,新建的类 Configuration 用于获取 Flink 的键值对配置
接下来我们来看 getExecutionEnvironment(Configuration configuration) 方法
- 首先,使用配置类 Utils 的 resolveFactory 方法实现对当前上下文中是否存在可用的 EnvironmentFactory 的检查,返回一个 StreamExecutionEnvironmentFactory 对象
Utils.java
resolveFactory 先从本地线程中查找 StreamExecutionEnvironmentFactory 对象,若无法找到则返回静态工厂
- 接下来第二步使用 StreamExecutionEnvironmentFactory 工厂类方法 createExecutionEnvironment 使用 Configuration 配置创建 StreamExecutionEnvironment
- 若未能创建 StreamExecutionEnvironment,则调用本类的另一个方法 createLocalEnvironment 创建本地执行环境
接下来,我们再来仔细阅读 createLocalEnvironment 的实现过程
该方法调用的是 createLocalEnvironment(int parallelism),其中参数 defaultLocalParallelism 是本地环境中的默认并行度,如下所示,返回的是 JVM 可用的处理器个数,以此作为默认的本地并行度,实际就是本机 CPU 核心数。
接下来我们再看 createLocalEnvironment(int parallelism)
调用的是 createLocalEnvironment(int parallelism, Configuration configuration) 加入了配置,再继续看
该函数首先对配置做了一次拷贝并加入了并行度的配置,然后调用 createLocalEnvironment(Configuration configuration)
这里做了对配置中是否存在并行度配置的判断,若不存在则加入,确保创建本地运行环境时一定存在关于并行度的配置。最终通过 LocalStreamEnvironment 构造函数构建本地运行环境。
LocalStreamEnvironment 是 StreamExecutionEnvironment 的子类,关于该类的作用,源码中是这样解释的:
大意是 LocalStreamEnvironment 在实例化环境的 JVM 中本地多线程地运行程序,在后台生成一个嵌入式 Flink 集群,并在该集群上执行程序
我们可以发现,getExecutionEnvironment 最终调用的是 LocalStreamEnvironment 的构造方法,该方法如下:
该方法调用的父类的 validateAndGetConfiguration,而该方法不可见。
- 总结:
- getExecutionEnvironment 首先会读取 Flink 配置
- 检查上下文中是否存在可用的环境工厂,若有则直接根据工厂生产执行环境
- 若没有则在调用 LocalStreamEnvironment 创建本地执行环境,其中,需要在配置中指定并行度,默认为本地 CPU 核数