hadoop伪分布式 linux Hadoop伪分布式安装

目录

1.安装JDK

2.安装Hadoop

3.文件配置

4.启动集群

5.查看集群

 在开始Hadoop伪分布式环境搭建之前，需要完成这些准备工作。

1.安装JDK

         安装JDK之前,需要卸载系统中自带的JDK。

[root@master ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@master ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
[root@master ~]# java -version
-bash: /usr/bin/java: No such file or directory
[root@master ~]#

         在“/”根目录下创建文件夹来存放相对应的软件包、数据和软件。

[root@master ~]# mkdir -p /export/software
[root@master ~]# mkdir -p /export/data
[root@master ~]# mkdir -p /export/servers

         进入/export/software目录，将JDK软件包导入该目录下。注意：上传文件时，若出现乱码，关闭远程连接软件重新上传一次或者直接将文件拖入窗口。

[root@master ~]# cd /export/software/
[root@master software]# ls
[root@master software]# rz -be

[root@master software]# ls
jdk-8u212-linux-x64.tar.gz
[root@master software]#

        解压JDK软件包到/export/servers目录下，并重命名为jdk。

[root@master software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /export/servers/
[root@master software]# cd /export/servers/
[root@master servers]# ls
jdk1.8.0_212
[root@master servers]# mv jdk1.8.0_212 jdk
[root@master servers]# ls
jdk
[root@master servers]#

        配置JDK环境变量。将以下内容写入配置文件/etc/profile末尾，如图1-1所示。

        export JAVA_HOME=/export/servers/jdk
        export PATH=$PATH:$JAVA_HOME/bin
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@master servers]# vi /etc/profile

 

 图1-1 JDK环境变量配置内容

让修改后的文件生效，并测试JDK是否安装成功。若出现JDK版本信息表示JDK安装成功。

[root@master servers]# source /etc/profile
[root@master servers]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[root@master servers]#

2.安装Hadoop

        步骤与安装JDK类似部分不再赘述。上传、解压Hadoop软件包。

[root@master servers]# cd /export/software/
[root@master software]# ls
jdk-8u212-linux-x64.tar.gz
[root@master software]# rz -be

[root@master software]# ls
hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz
[root@master software]# tar -zxvf hadoop-3.1.3.tar.gz -C /export/servers/
[root@master software]# cd /export/servers/
[root@master servers]# ls
hadoop-3.1.3  jdk
[root@master servers]#

配置Hadoop环境变量。将以下内容写入配置文件profile末尾，如图2-1所示。

         export HADOOP_HOME=/export/servers/hadoop-3.1.3
         export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

 图2-1 Hadoop环境变量配置内容

        让修改后的文件生效，并测试Hadoop是否安装成功。若出现Hadoop版本信息表示Hadoop安装成功。

[root@master servers]# source /etc/profile
[root@master servers]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[root@master servers]#

3.文件配置

        配置core-site.xml。

        注意：如果打开的文件是一个空白文件，说明是新建了该文件，不保存退出，检查路径或文件名是否有错

[root@master servers]# cd hadoop-3.1.3/etc/hadoop/
[root@master hadoop]# vi core-site.xml

        <configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-3.1.3/tmp</value>
        </property>
        </configuration>

      配置hdfs-site.xml。

[root@master hadoop]# vi hdfs-site.xml

   <!-- 指定HDFS副本的数量 -->
        <property>
                   <name>dfs.replication</name>
                   <value>1</value>
        </property>

      <!-- 指定Hadoop名称节点主机配置 -->
        <property>
               <name>dfs.namenode.http-address</name>
               <value>master:50070</value>
        </property>
        <!-- 指定Hadoop辅助名称节点主机配置 -->
        <property>
               <name>dfs.namenode.secondary.http-address</name>
               <value>master:50090</value>
        </property>

 配置yarn-site.xml。

[root@master hadoop]# vi yarn-site.xml

  <configuration>
        <!-- Reducer获取数据的方式 -->
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                  <name>yarn.resourcemanager.hostname</name>
                   <value>master</value>
        </property>
    </configuration>

 配置mapred-site.xml。

[root@master hadoop]# vi mapred-site.xml

        <configuration>
                <!-- 指定MR运行在Yarn上 -->
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>
        </configuration>

分别配置、和文件。在以上文件末尾配置JAVA_HOME环境变量。

  export JAVA_HOME=/export/servers/jdk

[root@master hadoop]# vi  
[root@master hadoop]# vi  
[root@master hadoop]# vi 

配置workers文件。打开该配置文件，先删除里面的内容（默认localhost），然后配置以下内容：

        master

[root@master hadoop]# vi workers

        该文件中写入哪个主机名，哪个主机就会存在datanode节点。

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

4.启动集群

     定义root用户操作hdfs namenode等，将以下内容写入配置文件profile末尾，并让修改后的文件生效。

[root@master ~]# vi /etc/profile
[root@master ~]# source /etc/profile

      export HDFS_NAMENODE_USER=root
      export HDFS_DATANODE_USER=root
      export HDFS_SECONDARYNAMENODE_USER=root
      export YARN_RESOURCEMANAGER_USER=root
      export YARN_NODEMANAGER_USER=root

        如果集群是第一次启动，需要格式化NameNode。

[root@master ~]# cd /export/servers/hadoop-3.1.3/
[root@master hadoop-3.1.3]# hdfs namenode -format

        输入对应命令后，若出现图4-1所示标志，说明NameNode格式化成功。后续若出现节点集群不能正常启动时，需要重新格式化NameNode时，一定要先停止上次启动的所有Namenode和datanode进程，然后再删除tmp和log数据。

  图4-1 格式化NameNode成功界面

        整体启动hdfs和yarn。

[root@master hadoop-3.1.3]# 

[root@master hadoop-3.1.3]# 

         输入jps命令，查看主机节点启动情况。

        若需关闭集群，在主机上输入相应关闭的命令。启动集群是先hdfs后yarn，关闭集群是先yarn后hdfs。

5.查看集群