flink on yarn修改提交用户

原创

mob649e815c3b9e 2023-11-18 06:04:50 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e815c3b9e的原创作品，请联系作者获取转载授权，否则将追究法律责任

Flink on YARN 修改提交用户指南

1. 简介

在使用 Flink on YARN 运行 Flink 应用程序时，我们有时需要修改提交用户，即将应用程序提交到 YARN 集群时，使用指定的用户身份。本文将介绍如何在 Flink on YARN 中修改提交用户。

2. 流程图

flowchart TD
A[获取 YARN 集群信息] --> B[配置 Flink on YARN]
B --> C[修改提交用户]
C --> D[重新提交应用程序]

3. 详细步骤

下面将详细介绍每一步需要做的事情以及对应的代码。

3.1 获取 YARN 集群信息

在修改提交用户之前，首先需要获取 YARN 集群的相关信息，包括 YARN ResourceManager 的地址和端口。你可以通过以下代码获取：

YarnConfiguration yarnConfig = new YarnConfiguration();
String rmAddress = yarnConfig.get(YarnConfiguration.RM_ADDRESS);
int rmPort = yarnConfig.getInt(YarnConfiguration.RM_PORT, YarnConfiguration.DEFAULT_RM_PORT);

3.2 配置 Flink on YARN

在 Flink on YARN 中修改提交用户需要修改 Flink 的配置文件。你可以通过以下代码加载 Flink 配置文件：

Configuration flinkConfig = GlobalConfiguration.loadConfiguration();

然后，将 YARN ResourceManager 的地址和端口设置到 Flink 配置中：

flinkConfig.setString("yarn.resourcemanager.address", rmAddress);
flinkConfig.setString("yarn.resourcemanager.port", String.valueOf(rmPort));

3.3 修改提交用户

在 Flink on YARN 中，可以通过 yarn.application-master.env 设置提交用户。你可以通过以下代码修改提交用户：

flinkConfig.setString("yarn.application-master.env.FLINK_USER", "your_user_name");

3.4 重新提交应用程序

修改完提交用户后，我们需要重新提交应用程序。你可以通过以下代码重新提交应用程序：

ApplicationSubmissionContext appSubmissionContext = yarnClient.getApplicationReport(applicationId).getApplicationSubmissionContext();
yarnClient.killApplication(applicationId);
yarnClient.submitApplication(appSubmissionContext);

4. 代码示例

下面是一个完整的示例代码：

YarnConfiguration yarnConfig = new YarnConfiguration();
String rmAddress = yarnConfig.get(YarnConfiguration.RM_ADDRESS);
int rmPort = yarnConfig.getInt(YarnConfiguration.RM_PORT, YarnConfiguration.DEFAULT_RM_PORT);

Configuration flinkConfig = GlobalConfiguration.loadConfiguration();
flinkConfig.setString("yarn.resourcemanager.address", rmAddress);
flinkConfig.setString("yarn.resourcemanager.port", String.valueOf(rmPort));
flinkConfig.setString("yarn.application-master.env.FLINK_USER", "your_user_name");

ApplicationSubmissionContext appSubmissionContext = yarnClient.getApplicationReport(applicationId).getApplicationSubmissionContext();
yarnClient.killApplication(applicationId);
yarnClient.submitApplication(appSubmissionContext);