yarn创建队列和扩容

原创

mob649e8155edc4 2024-10-06 03:44:44 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8155edc4的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用 Yarn 创建队列和扩容指南

在大数据处理与集群管理中，YARN（Yet Another Resource Negotiator）是非常重要的一个组件。对于刚入行的小白来说，理解如何在 YARN 中创建队列和扩容是非常重要的。下面的内容将帮助你掌握这项技能。

过程概述

下面是创建队列和扩容的步骤汇总：

步骤	说明	代码示例
1	登录到 YARN ResourceManager	`ssh user@resource-manager`
2	编辑 `capacity-scheduler.xml`	`vi /etc/hadoop/conf/capacity-scheduler.xml`
3	配置队列信息	配置出队列信息的XML格式配置
4	更新队列容量	调整相关队列的容量设置
5	重启 YARN	`sudo systemctl restart hadoop-yarn-resourcemanager`

接下来，我们将详细说明每一步。

步骤详解

1. 登录到 YARN ResourceManager

首先，你需要通过 SSH 登录到运行 YARN ResourceManager 的主机。

ssh user@resource-manager

user 是你的用户名。
resource-manager 是 YARN ResourceManager 的主机地址。

2. 编辑 `capacity-scheduler.xml`

登录后，你需要编辑 capacity-scheduler.xml 文件，该文件控制着队列的配置。

vi /etc/hadoop/conf/capacity-scheduler.xml

使用 vi 编辑器打开文件。你也可以使用其他文本编辑器，比如 nano 或 emacs。

3. 配置队列信息

在文件中，需要添加新的队列配置。以下是一个示例。

<configuration>
    <property>
        <name>yarn.scheduler.capacity.root.default.capacity</name>
        <value>70</value> <!-- 默认队列的容量设置 -->
    </property>
    <property>
        <name>yarn.scheduler.capacity.root.newQueue.capacity</name>
        <value>30</value><!-- 新队列的容量设置 -->
    </property>
</configuration>

上述代码配置了一个名为 newQueue 的新队列，容量设置为 30%。

4. 更新队列容量

在 capacity-scheduler.xml 文件中，还可以根据需求更新现有队列的容量设置。例如：

<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>60</value> <!-- 将默认队列的容量更新为 60% -->
</property>

这段代码将默认队列的容量更新为 60%。

5. 重启 YARN

在完成配置后，你需要重启 YARN 服务以应用更改。

sudo systemctl restart hadoop-yarn-resourcemanager

该命令会重启 YARN ResourceManager，以使新配置生效。

甘特图示意

以下是完成这些步骤的时间线安排，使用 Mermaid 语法绘制的甘特图：

gantt
    title 创建并扩容 YARN 队列
    dateFormat  YYYY-MM-DD
    section 设置
    登录到 YARN ResourceManager   :a1, 2023-10-01, 1d
    编辑 capacity-scheduler.xml    :a2, 2023-10-02, 1d
    配置队列信息                   :a3, 2023-10-03, 1d
    更新队列容量                   :a4, 2023-10-04, 1d
    重启 YARN                     :a5, 2023-10-05, 1d