hadoop 的hdfs和yarn节点

原创

mob649e815e6170 2024-10-30 04:45:20 ©著作权

文章标签 Hadoop HDFS xml 文章分类 Hadoop 大数据

©著作权归作者所有：来自51CTO博客作者mob649e815e6170的原创作品，请联系作者获取转载授权，否则将追究法律责任

教你实现 Hadoop 的 HDFS 和 YARN 节点

Hadoop 是一个非常强大的分布式计算框架，HDFS（Hadoop 分布式文件系统）用于存储数据，而 YARN（Yet Another Resource Negotiator）用于资源管理和调度。接下来，我们将一起实现 HDFS 和 YARN 节点。

整体流程

下面的表格展示了实现 HDFS 和 YARN 节点的主要步骤：

步骤	描述
1	安装 Java
2	下载 Hadoop
3	配置环境变量
4	配置 HDFS
5	启动 HDFS
6	配置 YARN
7	启动 YARN

步骤详解

1. 安装 Java

Hadoop 需要 Java 环境。你可以使用以下命令安装 Java（假设你在一个基于 Debian 的系统上）：

sudo apt update
sudo apt install default-jdk   # 安装默认的 JDK

2. 下载 Hadoop

接下来，我们需要下载 Hadoop。访问 [Apache Hadoop 官网]( 下载最新版本。

wget    # 下载 Hadoop
tar -xzvf hadoop-x.x.x.tar.gz                                          # 解压 Hadoop

3. 配置环境变量

配置 Hadoop 的环境变量，如下所示。在 ~/.bashrc 文件中添加这些行：

export HADOOP_HOME=~/hadoop-x.x.x                                          # 设置 Hadoop 的路径
export PATH=$PATH:$HADOOP_HOME/bin                                         # 将 Hadoop 的 bin 目录添加到 PATH

然后运行以下命令使改动生效：

source ~/.bashrc   # 使配置生效

4. 配置 HDFS

进入 Hadoop 安装目录，编辑 etc/hadoop/core-site.xml，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>   <!-- HDFS 文件系统的 URI -->
    </property>
</configuration>

接下来，编辑 etc/hadoop/hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>   <!-- 文件块的复制因子 -->
    </property>
</configuration>

5. 启动 HDFS

运行以下命令格式化 HDFS 并启动它：

hdfs namenode -format       # 格式化命名节点
start-dfs.sh                # 启动 HDFS

6. 配置 YARN

接下来，配置 YARN。编辑 etc/hadoop/yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_secondarysort</value>   <!-- 辅助服务 -->
    </property>
</configuration>

编辑 etc/hadoop/mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>    <!-- 使用 YARN 作为资源管理器 -->
    </property>
</configuration>

7. 启动 YARN

最后，启动 YARN：

start-yarn.sh            # 启动 YARN

序列图展示

sequenceDiagram
    participant User
    participant HDFS
    participant YARN
    User->>HDFS: 启动 HDFS
    HDFS-->>User: HDFS 启动成功
    User->>YARN: 启动 YARN
    YARN-->>User: YARN 启动成功