centos配置hadoop

原创

mob64ca12e4972a 2024-10-03 03:50:19 ©著作权

文章标签 Hadoop bash xml 文章分类 Hadoop 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12e4972a的原创作品，请联系作者获取转载授权，否则将追究法律责任

CentOS配置Hadoop教程

在大数据背景日益增加的今天，Hadoop作为一个强大的大数据处理框架，越来越被广泛应用。本文将详细介绍在CentOS下配置Hadoop的步骤，帮助初学者快速上手。

步骤概述

下面是配置Hadoop的大致流程：

步骤	描述
1	安装Java
2	下载和安装Hadoop
3	配置Hadoop环境变量
4	配置Hadoop核心配置文件
5	启动Hadoop服务
6	验证Hadoop安装及配置

接下来，我们将详细介绍每一步所需的操作。

1. 安装Java

Hadoop依赖Java运行环境，因此首先需要安装Java。使用以下命令安装OpenJDK：

sudo yum install -y java-1.8.0-openjdk-devel # 安装OpenJDK

这条命令会自动下载并安装Java开发环境。

确保Java安装成功，可以使用下面的命令检查版本：

java -version # 查看Java版本

2. 下载和安装Hadoop

接下来，我们需要下载Hadoop。可以从Apache官方网站下载最新版本的Hadoop。使用以下命令：

wget  # 下载Hadoop

下载完成后，解压文件：

tar -xzf hadoop-3.3.1.tar.gz # 解压Hadoop

然后移动解压后的目录到你希望的安装路径：

sudo mv hadoop-3.3.1 /usr/local/hadoop # 移动Hadoop到/usr/local/

3. 配置Hadoop环境变量

配置Hadoop的环境变量需要修改.bashrc文件：

nano ~/.bashrc # 打开.bashrc文件

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop # 设置Hadoop的Home目录
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 将Hadoop的bin和sbin加入Path

然后更新.bashrc文件以使配置生效：

source ~/.bashrc # 生效新设置

4. 配置Hadoop核心配置文件

Hadoop需要一些核心配置文件，这些文件通常位于${HADOOP_HOME}/etc/hadoop目录下。我们需要配置以下文件：

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

首先，创建core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value> <!-- HDFS默认文件系统 -->
    </property>
</configuration>

保存并退出。

然后创建hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value> <!-- HDFS的副本数 -->
    </property>
</configuration>

接下来，创建mapred-site.xml，如果文件不存在，请先复制模板：

cp mapred-site.xml.template mapred-site.xml # 复制模板

然后编辑mapred-site.xml，添加如下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value> <!-- 指定使用YARN作为MapReduce的框架 -->
    </property>
</configuration>

最后，创建并编辑yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> <!-- 指定辅助服务 -->
    </property>
</configuration>

5. 启动Hadoop服务

现在，我们已经完成所有配置。为了启动Hadoop服务，我们需要格式化HDFS（数据存储）：

hdfs namenode -format # 格式化HDFS

接下来，启动Hadoop的守护进程：

start-dfs.sh # 启动HDFS
start-yarn.sh # 启动YARN

6. 验证Hadoop安装及配置

最后，我们需要验证Hadoop是否成功安装并正常运行。可以通过访问Hadoop的Web界面，通常默认为：

NameNode: http://localhost:9870
ResourceManager: http://localhost:8088

访问这些地址，如果可以打开Hadoop的Web界面，说明我们的配置成功。

类图

以下是Hadoop中常见模块的类图（伪类图）：

classDiagram
    class Hadoop {
        +start()
        +stop()
    }
    class HDFS {
        +createFile()
        +readFile()
    }
    class YARN {
        +allocateResources()
        +manageContainer()
    }

    Hadoop "1" --> "1" HDFS
    Hadoop "1" --> "1" YARN