hadoop 集群配置同步 hadoop集群部署

转载

IT剑客风云 2023-07-14 15:31:22

文章标签 hadoop 集群配置同步 hadoop xml HDFS 文章分类 Hadoop 大数据

完全分布式运行模式

分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群

Hadoop部署

1）集群部署规划

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

在这里插入图片描述

hadoop 集群配置同步 hadoop集群部署_hadoop 集群配置同步

2）将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

3）解压Hadoop安装包到/opt/module下面

$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

$ ls /opt/module/

hadoop-3.1.3

5）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

$ pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

$ sudo vim /etc/profile.d/my_env.sh

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH= $hadoop 集群配置同步 hadoop集群部署_HDFS_02$ HADOOP_HOME/bin

export PATH= $hadoop 集群配置同步 hadoop集群部署_HDFS_02$ HADOOP_HOME/sbin

（3）保存后退出

:wq

（4）分发环境变量文件

$ sudo /home/atguigu/bin/xsync /etc/profile.d/env.sh

（5）source 是之生效（3台节点）

source /etc/profile.d/my_env.sh

1.2 配置集群

1）核心配置文件

配置core-site.xml
$ cd /opt/module/hadoop-3.1.3/etc/hadoop/
$ vim core-site.xml
文件内容如下：

<configuration>
        <!-- 指定NameNode的位置 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <!-- 指定NameNode、DataNode、2nn数据存储的位置-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 代理配置-->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
         </property>
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
    </property>
   <!-- 指定web端操作的用户 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

2）HDFS配置文件
配置hdfs-site.xml
$ vim hdfs-site.xml
文件内容如下：

<configuration>
<!-- 指定2nn的位置 --> 
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>

    <!-- 
     namenode数据存储目录的配置:dfs.namenode.name.dir
     datanode数据存储目录的配置:dfs.datanode.data.dir
     2nn数据存储目录的配置:dfs.namenode.checkpoint.dir
    -->
</configuration>

3）YARN配置文件
配置yarn-site.xml
$ vim yarn-site.xml
文件内容如下：

<configuration>
    <!-- shuffle的方式 -->
     <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定Resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
</property>
    <!-- 环境变量的继承 -->
<property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!-- 给每个container分配的最小资源 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <!-- 给每个container分配的最大资源-->
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <!-- nodemanager将多少内存交给resourcemanager进行分配 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
</configuration>

4）MapReduce配置文件
配置mapred-site.xml
$ vim mapred-site.xml
文件内容如下：

<configuration>
    <!-- 指定mapreduce程序运行在yarn -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5）配置workers
$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中增加如下内容：
hadoop102
hadoop103
hadoop104
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

1.3 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1）配置mapred-site.xml
[atguigu@hadoop102 hadoop]$vi mapred-site.xml
在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>
1.4 配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：
1）配置yarn-site.xml
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
在该文件里面增加如下配置。
  <!-- 开启日志聚集 -->  
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<!-- 日志访问路径 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>  
</property> 
<!-- 日志保存时间 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
	</property>
1.5 分发Hadoop
$ xsync /opt/module/hadoop-3.1.3/
1.6 群起集群
1）启动集群
	（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
$ bin/hdfs namenode -format
（2）启动HDFS
$ sbin/
（3）在配置了ResourceManager的节点（hadoop103）启动YARN
$ sbin/

1.7 集群基本测试
（1）上传文件到集群
	上传小文件
$ hadoop fs -mkdir -p /user/atguigu/input

$ hadoop fs -put /opt/module/hadoop-3.1.3/wcinput/wc.input /user/atguigu/input
	上传大文件
$ hadoop fs -put  /opt/software/hadoop-3.1.3.tar.gz  /
（2）上传文件后查看文件存放在什么位置
（a）查看HDFS文件存储路径
$ pwd
/opt/module/hadoop-3.1.3/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
（b）查看HDFS在磁盘存储文件内容
[atguigu@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
atguigu
atguigu

（4）下载
$ bin/hadoop fs -get
 /hadoop-3.1.3.tar.gz ./
（5）执行wordcount程序
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/atguigu/input /user/atguigu/output
1.8 集群启动/停止方式总结
1）各个服务组件逐一启动/停止
	（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
	（2）启动/停止YARN
yarn --daemon start/stop  resourcemanager/nodemanager
2）各个模块分开启动/停止（配置ssh是前提）常用
	（1）整体启动/停止HDFS
/
	（2）整体启动/停止YARN
/

群起脚本:

#!/bin/bash
echo "---当前hadoop服务状态---"

for i in hadoop102 hadoop103 hadoop104 
do
  echo "===================> $i JPS <==================="
  ssh $i /opt/module/jdk1.8.0_212/bin/jps 
done

read -p "请输入数字选项:1-->代表start,2-->代表stop" SELECT
if [ $SELECT = 1 ]
then
echo "===  hdfs启动中 ==="
ssh hadoop102 /opt/module/hadoop-3.1.3/sbin/

echo "=== yarn启动中 ==="
ssh hadoop103 /opt/module/hadoop-3.1.3/sbin/

echo "=== 日志启动中 ==="
ssh hadoop102 /opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver

elif [ $SELECT = 2 ]
then
echo "===  hdfs关闭中 ==="
ssh hadoop102 /opt/module/hadoop-3.1.3/sbin/

echo "=== yarn关闭中 ==="
ssh hadoop103 /opt/module/hadoop-3.1.3/sbin/

echo "=== 日志关闭中 ==="
ssh hadoop102 /opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver

else
echo "not found commind,请重新输入"
fi

for i in hadoop102 hadoop103 hadoop104 
do
  echo "===================> $i JPS <==================="
  ssh $i /opt/module/jdk1.8.0_212/bin/jps 
done

echo -e "\n|\t\t\t班\t\t\t|\n|\t\t\t长\t\t\t|\n|\t\t\t最\t\t\t|\n|\t\t\t帅\t\t\t|\n|\t\t\t !\t\t\t|\n"

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。