label yarn 资源

原创

mob64ca12d6c78e 2024-12-04 06:50:48 ©著作权

文章标签 应用程序 apache hadoop 文章分类 Yarn 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12d6c78e的原创作品，请联系作者获取转载授权，否则将追究法律责任

如何实现 Label Yarn 资源

Yarn（Yet Another Resource Negotiator）是一个在大数据处理环境中常用的资源管理器。它可以有效地管理和调度 Hadoop 集群中的资源。在一些应用场合，我们可能需要对 Yarn 的资源进行标记（label），以方便进行管理和调度。

本文将详细介绍如何实现 Yarn 资源的标记。我将分步骤为你讲解整个流程，提供必要的代码示例并进行详细的注释。最后，我们也将用类图展示其中的关系，以帮助你更好地理解。

整体流程

首先，我们来看看整个实现的流程表格：

步骤	描述
步骤 1	注册一个 label
步骤 2	为应用设置 label
步骤 3	启动应用
步骤 4	验证应用资源的 label
步骤 5	清理和注销 label

每一步的详细说明

步骤 1: 注册一个 Label

在使用 Yarn 之前，首先需要注册一个 label。可以在 Yarn的配置文件中添加 label 信息。

# 在 yarn-site.xml 中添加以下内容
<property>
    <name>yarn.node-labels.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.node-labels</name>
    <value>dev,prod,staging</value>
</property>

上述代码是在 Yarn 的配置文件 yarn-site.xml 中增加了一个开启 node labels 的配置，以及定义了三个 labels： dev，prod，staging。

步骤 2: 为应用设置 Label

在启动应用程序时，你可以为应用程序定义需要使用的 label。我们将使用 ResourceRequest 来请求特定的资源。

import org.apache.hadoop.yarn.api.records.ApplicationSubmissionContext;
import org.apache.hadoop.yarn.api.records.NodeLabelExpression;
import org.apache.hadoop.yarn.api.records.ResourceRequest;
import org.apache.hadoop.yarn.api.records.Resources;
import org.apache.hadoop.yarn.client.api.YarnClient;

// 创建 YarnClient 实例
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(configuration);
yarnClient.start();

// 创建 ApplicationSubmissionContext
ApplicationSubmissionContext appContext = ApplicationSubmissionContext.newInstance(
        applicationId, // 应用 ID
        "myApp", // 应用名称
        queueName, // 队列名称
        resourceRequest, // 资源请求
        NodeLabelExpression.newInstance("dev")); // 设置 label 为 dev

在上面的代码中，我们用 NodeLabelExpression.newInstance("dev") 为应用程序指定了一个的 label。由于我们在网络中配置了可用的 labels ，因此我们可以通过这种方式进行标记。

步骤 3: 启动应用

接下来，我们要启动之前创建好的应用程序。

// 启动应用
yarnClient.submitApplication(appContext);

这行代码调用 submitApplication() 方法，提交之前配置好的应用程序并将其启动。

步骤 4: 验证应用资源的 Label

一旦应用程序成功启动，我们可以通过应用程序的状态来验证是否应用了 label。

import org.apache.hadoop.yarn.api.records.ApplicationReport;

// 获取应用报告
ApplicationReport report = yarnClient.getApplicationReport(applicationId);

// 检查应用程序是否使用了特定的 label
String nodeLabel = report.getNodeLabelExpression();
System.out.println("Node Label: " + nodeLabel);

在这里，我们调用 getApplicationReport(applicationId) 获取了应用程序的报告，并检查绑定到应用程序的 label。

步骤 5: 清理和注销 Label

在使用结束后，如果需要删除不再需用的 labels，可以在 Yarn 的配置文件中进行清理：

<property>
    <name>yarn.node-labels</name>
    <value>prod,staging</value> <!-- 删除 dev -->
</property>

根据需要进行更新，重启 Yarn 集群以生效。

类图展示

以下是关于资源标记的类图，可以帮助你理解各部分之间的关系。

classDiagram
    class YarnClient {
        +createYarnClient()
        +init(configuration)
        +start()
        +submitApplication(appContext)
        +getApplicationReport(applicationId)
    }

    class ApplicationSubmissionContext {
        +newInstance()
    }

    class NodeLabelExpression {
        +newInstance(label)
    }

    class ResourceRequest {
        +newResource()
    }

    YarnClient --|> ApplicationSubmissionContext : create
    ApplicationSubmissionContext --> NodeLabelExpression : label
    YarnClient --> ResourceRequest : request