本课程需要创建一个名称为hadoop的普通用户,后续所有操作都会使用该用户名登录到Linux系统。

  • 在右侧命令行中使用如下命令创建一个hadoop用户:

sudo useradd -m hadoop -s /bin/bash

hadoop安装硬件注意事项 安装hadoop的实验环境_Java

这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 Shell。

  • 接着使用如下命令为hadoop用户设置密码

sudo passwd hadoop

hadoop安装硬件注意事项 安装hadoop的实验环境_hadoop安装硬件注意事项_02

由于处于学习阶段,不需要把密码设置得过于复杂,本课程把密码简单设置为hadoop,方便记忆。需要按照提示输入两次密码。

  • 然后,可为hadoop用户增加管理员权限,以方便部署,避免一些对于新手来说比较棘手的权限问题,命令如下:

sudo adduser hadoop sudo

hadoop安装硬件注意事项 安装hadoop的实验环境_学习_03

(将hadoop用户添加到组sudo中,前面是用户,后面是组)

  • 之后可为hadoop用户配置操作免密,命令如下:

echo 'hadoop  ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers

(Shell 的 echo 指令与 PHP 的 echo 指令类似,都是用于字符串的输出)

最后,在命令行界面输入以下命令,将登录用户切换为刚创建的hadoop用户。

su hadoop

hadoop安装硬件注意事项 安装hadoop的实验环境_Java_04

更新APT

  • 为了确保Hadoop安装过程顺利进行,建议执行下面命令更新APT软件:

sudo apt-get update

hadoop安装硬件注意事项 安装hadoop的实验环境_hadoop安装硬件注意事项_05

(注意:如果上面的命令执行失败,很可能代表你处在内网环境下,无法访问到ubuntu的源仓库,可以通过如下命令切换为私有源后再更新软件源:

sudo sed -i 's#http://mirrors.aliyun.com/ubuntu/#http://nexus3.plugins.svc/repository/ubuntu/#g' /etc/apt/sources.list
)

安装SSH

  • Ubuntu默认已安装了SSH客户端,因此,这里还需要安装SSH服务端,请在右侧命令行中执行以下命令:

sudo apt-get -y install openssh-server

hadoop安装硬件注意事项 安装hadoop的实验环境_hadoop安装硬件注意事项_06

  • SSH服务端安装后,需先启动SSH服务:

sudo service ssh start

hadoop安装硬件注意事项 安装hadoop的实验环境_学习_07

服务启动之后即可使用如下命令登录本机:

ssh localhost

执行该命令后会,会出现“yes/no”选择提示,输入“yes”,然后按提示输入密码hadoop,就登录到本机了。

hadoop安装硬件注意事项 安装hadoop的实验环境_学习_08

  • 然后,请输入命令“exit”退出刚才的SSH,就回到了原先的终端窗口;然后,可以利用ssh-keygen生成密钥,并将密钥加入到授权中,命令如下:
# 若没有该目录,请先执行一次ssh localhost
cd ~/.ssh/
# 会有提示,都按回车即可
ssh-keygen -t rsa    
# 加入授权
cat ./id_rsa.pub >> ./authorized_keys

此时,再执行ssh localhost命令,无需输入密码就可以直接登录了。

安装Java环境

由于Hadoop本身是使用Java语言编写的,因此,Hadoop的开发和运行都需要Java的支持,对于Hadoop3.1.3而言,要求使用JDK1.8或者更新的版本。

  • 系统所需JDK1.8安装包已预先存放至/opt目录下。

hadoop安装硬件注意事项 安装hadoop的实验环境_Java_09

  • 首先执行如下命令创建“/usr/lib/jvm”目录用来存放JDK文件:
cd /usr/lib
#创建/usr/lib/jvm目录用来存放JDK文件
sudo mkdir jvm
执行如下命令对安装文件进行解压缩:
cd /opt
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm

hadoop安装硬件注意事项 安装hadoop的实验环境_Java_10

  • 下面继续执行如下命令,设置环境变量:

vim ~/.bashrc

上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容:(i为插入,按Esc之后输入:wq,为保存并退出)

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

hadoop安装硬件注意事项 安装hadoop的实验环境_Java_11

  • 保存.bashrc文件并退出vim编辑器。然后,继续执行如下命令让.bashrc文件的配置立即生效:

source ~/.bashrc

这时,可以使用如下命令查看是否安装成功:

java -version

hadoop安装硬件注意事项 安装hadoop的实验环境_大数据_12

  • 如果能够在屏幕上返回如下信息,则说明安装成功:
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

至此,就成功安装了Java环境。之后就可以进入Hadoop的安装。

编程要求

在右侧命令行中进行如下操作:

  • 根据上述步骤完成安装Hadoop所需环境的搭建。
  • 创建名为Hadoop的普通用户。
  • 更新APT软件。
  • 完成SSH的安装。
  • 完成Java环境的安装。

测试说明

在按编程要求完成操作后,请点击评测按钮,系统会自动对你的操作进行评测。
当你的结果与预期输出一致时,即为通过。

(备注:仅限学习系统使用,按照黄色点亮来做可以过关,蓝色不一定要执行)

Hadoop用户创建成功

SSH安装成功

Java环境安装成功