本课程需要创建一个名称为hadoop的普通用户,后续所有操作都会使用该用户名登录到Linux系统。
- 在右侧命令行中使用如下命令创建一个hadoop用户:
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 Shell。
- 接着使用如下命令为hadoop用户设置密码
sudo passwd hadoop
由于处于学习阶段,不需要把密码设置得过于复杂,本课程把密码简单设置为hadoop,方便记忆。需要按照提示输入两次密码。
- 然后,可为hadoop用户增加管理员权限,以方便部署,避免一些对于新手来说比较棘手的权限问题,命令如下:
sudo adduser hadoop sudo
(将hadoop用户添加到组sudo中,前面是用户,后面是组)
- 之后可为hadoop用户配置操作免密,命令如下:
echo 'hadoop ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers
(Shell 的 echo 指令与 PHP 的 echo 指令类似,都是用于字符串的输出)
最后,在命令行界面输入以下命令,将登录用户切换为刚创建的hadoop用户。
su hadoop
更新APT
- 为了确保Hadoop安装过程顺利进行,建议执行下面命令更新APT软件:
sudo apt-get update
(注意:如果上面的命令执行失败,很可能代表你处在内网环境下,无法访问到ubuntu的源仓库,可以通过如下命令切换为私有源后再更新软件源:
sudo sed -i 's#http://mirrors.aliyun.com/ubuntu/#http://nexus3.plugins.svc/repository/ubuntu/#g' /etc/apt/sources.list
)
安装SSH
- Ubuntu默认已安装了SSH客户端,因此,这里还需要安装SSH服务端,请在右侧命令行中执行以下命令:
sudo apt-get -y install openssh-server
- SSH服务端安装后,需先启动SSH服务:
sudo service ssh start
服务启动之后即可使用如下命令登录本机:
ssh localhost
执行该命令后会,会出现“yes/no”选择提示,输入“yes”,然后按提示输入密码hadoop,就登录到本机了。
- 然后,请输入命令“exit”退出刚才的SSH,就回到了原先的终端窗口;然后,可以利用ssh-keygen生成密钥,并将密钥加入到授权中,命令如下:
# 若没有该目录,请先执行一次ssh localhost
cd ~/.ssh/
# 会有提示,都按回车即可
ssh-keygen -t rsa
# 加入授权
cat ./id_rsa.pub >> ./authorized_keys
此时,再执行ssh localhost命令,无需输入密码就可以直接登录了。
安装Java环境
由于Hadoop本身是使用Java语言编写的,因此,Hadoop的开发和运行都需要Java的支持,对于Hadoop3.1.3而言,要求使用JDK1.8或者更新的版本。
- 系统所需JDK1.8安装包已预先存放至/opt目录下。
- 首先执行如下命令创建“/usr/lib/jvm”目录用来存放JDK文件:
cd /usr/lib
#创建/usr/lib/jvm目录用来存放JDK文件
sudo mkdir jvm
执行如下命令对安装文件进行解压缩:
cd /opt
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
- 下面继续执行如下命令,设置环境变量:
vim ~/.bashrc
上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容:(i为插入,按Esc之后输入:wq,为保存并退出)
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
- 保存.bashrc文件并退出vim编辑器。然后,继续执行如下命令让.bashrc文件的配置立即生效:
source ~/.bashrc
这时,可以使用如下命令查看是否安装成功:
java -version
- 如果能够在屏幕上返回如下信息,则说明安装成功:
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)
至此,就成功安装了Java环境。之后就可以进入Hadoop的安装。
编程要求
在右侧命令行中进行如下操作:
- 根据上述步骤完成安装Hadoop所需环境的搭建。
- 创建名为Hadoop的普通用户。
- 更新APT软件。
- 完成SSH的安装。
- 完成Java环境的安装。
测试说明
在按编程要求完成操作后,请点击评测按钮,系统会自动对你的操作进行评测。
当你的结果与预期输出一致时,即为通过。
(备注:仅限学习系统使用,按照黄色点亮来做可以过关,蓝色不一定要执行)
Hadoop用户创建成功
SSH安装成功
Java环境安装成功