hadoop配置jobhistory

如何配置Hadoop JobHistory

作为一名经验丰富的开发者，我将教会你如何配置Hadoop JobHistory。首先，我来给你展示整个配置的流程，然后逐步为你解释每个步骤应该怎么完成。

配置流程：

pie
    title Hadoop JobHistory配置步骤
    "下载Hadoop配置文件" : 20
    "修改配置文件" : 30
    "启动JobHistory服务" : 25
    "验证配置是否成功" : 25

步骤解释：

1. 下载Hadoop配置文件：

   • 首先，从官方网站下载Hadoop的配置文件。

   ```bash
   wget 
   tar -xvf hadoop-3.3.0.tar.gz
   mv hadoop-3.3.0 /usr/local/hadoop
   

2. 修改配置文件：

   • 打开hadoop-env.sh文件，设置HADOOP_MAPRED_HOME为JobHistory的路径。

   ```bash
   vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
   export HADOOP_MAPRED_HOME=/usr/local/hadoop
   

3. 启动JobHistory服务：

   • 启动JobHistory服务，确保在hadoop-mapreduce-historyserver的目录下执行。

   ```bash
   cd /usr/local/hadoop
   sbin/start-dfs.sh
   sbin/start-yarn.sh
   sbin/mr-jobhistory-daemon.sh start historyserver
   

4. 验证配置是否成功：

   • 打开浏览器，输入JobHistory的地址（默认为http://localhost:19888），查看JobHistory是否成功配置。
   • 如果能够看到JobHistory的页面，说明配置成功。

通过以上步骤，你就能成功配置Hadoop的JobHistory服务了。如果有任何疑问，欢迎随时向我提问。祝你顺利！