测试hadoop集群搭建成功验证hadoop集群搭建成功

转载

mob64ca1414c613 2023-10-07 21:40:50

文章标签 测试hadoop集群搭建成功大数据 hadoop h5 xml 文章分类 Hadoop 大数据

文章目录

1、上传压缩包并解压
2、查看hadoop支持的压缩方式以及本地库
3、修改配置文件
4、创建文件存放目录
5、安装包的分发scp
6、配置hadoop的环境变量
7、集群启动
8、浏览器查看启动页面

1、上传压缩包并解压

将hadoop包上传到第一台服务器并解压；
第一台机器执行以下命令

cd /zzz/soft/
tar -xzvf hadoop-2.6.0-cdh5.14.2_after_compile.tar.gz -C /zzz/install/

2、查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2
bin/hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

sudo yum -y install openssl-devel

3、修改配置文件

（1）修改
第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim

添加：

export JAVA_HOME=/zzz/install/jdk1.8.0_141

（2）修改core-site.xml
第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim core-site.xml

添加：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
    </property>
    <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
</configuration>

（3）修改hdfs-site.xml
第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
 vim hdfs-site.xml

<configuration>
<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
<!--   集群动态上下线 
<property>
    <name>dfs.hosts</name>
    <value>/zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/accept_host</value>
</property>
<property>
    <name>dfs.hosts.exclude</name>
    <value>/zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/deny_host</value>
</property>
    -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node01:50090</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>node01:50070</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
</property>
<!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 -->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
</property>
<property>
    <name>dfs.namenode.edits.dir</name>
    <value>file:///zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>file:///zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
<property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
</property>
</configuration>

（4）修改mapred-site.xml
第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
mv mapred-site.xml.template mapred-site.xml 
vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node01:19888</value>
    </property>
 </configuration>

（5）修改yarn-site.xml
第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
 vim yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

（6）修改slaves文件
第一台机器执行以下命令

cd /zzz/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
 vim slaves

原内容替换为

node01
node02
node03

4、创建文件存放目录

第一台机器执行以下命令
node01机器上面创建以下目录

mkdir -p /zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas 
mkdir -p /zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /zzz/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

5、安装包的分发scp

在linux当中，用于向远程服务器拷贝文件或者文件夹可以使用scp
可以通过scp进行不同服务器之间的文件或者文件夹的复制
node01执行以下命令进行拷贝

cd /zzz/install/
scp -r hadoop-2.6.0-cdh5.14.2/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2/ node03:$PWD

6、配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量
三台机器执行以下命令

sudo vim /etc/profile

export HADOOP_HOME=/zzz/install/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完成之后生效

source /etc/profile

7、集群启动

（1）格式化集群
要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。格式化操作只有在首次启动的时候需要，以后再也不需要了
node01执行一遍即可

hdfs namenode -format
#或者
hadoop namenode –format

（2）启动集群
node01节点上执行以下命令

#第一台机器执行以下命令


 start historyserver
#停止集群：

8、浏览器查看启动页面

hdfs集群访问地址
http://192.168.52.100:50070/ yarn集群访问地址
http://192.168.52.100:8088
jobhistory访问地址：
http://192.168.52.100:19888
我们也可以通过jps在每台机器上面查看进程名称，为了方便我们以后查看进程，我们可以通过脚本一键查看所有机器的进程

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。