hdfs yarn zookeeper启动顺序

原创

mob649e8159b30b 2024-12-19 05:15:27 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8159b30b的原创作品，请联系作者获取转载授权，否则将追究法律责任

HDFS、YARN 和 Zookeeper 启动顺序指南

在大数据生态系统中，HDFS（Hadoop Distributed File System）、YARN（Yet Another Resource Negotiator）和 Zookeeper 是构建分布式应用的关键组件。了解它们的正确启动顺序至关重要。本文将详细列出启动顺序，并具体介绍每个步骤的命令和功能。

启动顺序流程

下面是 HDFS、YARN 和 Zookeeper 的启动顺序表：

步骤	组件	说明
1	Zookeeper	启动 Zookeeper 服务器
2	HDFS	启动 NameNode 和 DataNode
3	YARN	启动 ResourceManager 和 NodeManager

各步骤详细说明及代码

步骤 1: 启动 Zookeeper

Zookeeper 是一个分布式协调服务，首先需要启动。使用以下命令：

# 启动 Zookeeper 服务
zkServer.sh start

zkServer.sh start: 这条命令启动 Zookeeper 服务器，管理节点和其状态。

步骤 2: 启动 HDFS

在 Zookeeper 启动后，可以启动 HDFS。首先启动 NameNode，然后启动 DataNode。

# 启动 HDFS NameNode
hadoop-daemon.sh start namenode

hadoop-daemon.sh start namenode: 这条命令会启动 HDFS 的主节点（NameNode），它负责管理文件系统的元数据。

# 启动 HDFS DataNode
hadoop-daemon.sh start datanode

hadoop-daemon.sh start datanode: 这条命令在每个数据节点上启动 DataNode，它负责存储实际的数据块。

步骤 3: 启动 YARN

在 HDFS 启动完成后，最后启动 YARN。

# 启动 YARN ResourceManager
yarn-daemon.sh start resourcemanager

yarn-daemon.sh start resourcemanager: 这条命令启动 YARN 的资源管理器（ResourceManager），负责调度资源并分配给各个应用程序。

# 启动 YARN NodeManager
yarn-daemon.sh start nodemanager

yarn-daemon.sh start nodemanager: 这条命令在各个节点上启动 NodeManager，负责处理在当前机器上运行的应用程序的资源。

状态图

以下是组件启动的状态图，表明各部分的状态与转移关系：

stateDiagram
    [*] --> ZookeeperStarted
    ZookeeperStarted --> HDFSNameNodeStarted
    HDFSNameNodeStarted --> HDFSDatanodeStarted
    HDFSDatanodeStarted --> YARNResourceManagerStarted
    YARNResourceManagerStarted --> [*]

启动过程甘特图

我们可以用甘特图来表示各个组件的启动过程及时间。

gantt
    title HDFS, YARN, and Zookeeper Startup Process
    dateFormat  YYYY-MM-DD
    section Zookeeper
    Start Zookeeper          :a1, 2023-10-01, 1d
    section HDFS
    Start NameNode           :a2, 2023-10-02, 1d
    Start DataNode           :after a2, 1d
    section YARN
    Start ResourceManager     :a3, 2023-10-03, 1d
    Start NodeManager         :after a3, 1d