1、虚拟机环境准备
1、准备一台虚拟机
2、配置网络设置静态IP
具体参考:Linux网络配置
3、修改主机名
vim /etc/sysconfig/network
4、关闭防火墙
#1:查看防火状态
systemctl status firewalld
service iptables status
#2:暂时关闭防火墙
systemctl stop firewalld
service iptables stop
#3:永久关闭防火墙
systemctl disable firewalld
chkconfig iptables off
5、创建一个新用户
#adduser zhukun //添加一个名为zhukun的用户
#passwd zhukun //修改密码
Changing password for user zhukun.
New UNIX password: //在这里输入新密码
Retype new UNIX password: //再次输入新密码
passwd: all authentication tokens updated successfully.
6、赋予新用户root权限
修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:
修改完毕,现在可以用zhukun帐号登录,然后用命令 sudo – ,即可获得root权限进行操作。
7、在/opt目录下创建文件夹
1、在/opt目录下创建module、software文件夹
sudo mkdir module
sudo mkdir software
2、修改module、software文件夹所有者
sudo chown zhukun:zhukun module/ software/
2、安装JDK和Hadoop
JDK资源:
链接:https://pan.baidu.com/s/1C1Pw0iaog3dFGHQAilru3w 提取码:b3kn
Hadoop资源:
链接:https://pan.baidu.com/s/15cyEaVsbJpRkH6ce459XWg 提取码:pzda
1、用Xftp工具将JDK压缩包和Hadoop导入到opt目录下面的software文件夹下面
2、在Linux系统下的opt目录查看软件包是否成功导入
3、将压缩包解压到/opt/module 目录下
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4、配置JDK环境变量
(1)先获取JDK路径
[zhukun@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
(2)打开/etc/profile文件
[zhukun@hadoop101 software]$ sudo vim /etc/profile
在profile文件末尾添加JDK路径
(3)保存后退出
(4)让修改后的文件生效
[zhukun@hadoop101 jdk1.8.0_144]$ source /etc/profile
5、测试JDK是否安装成功
[zhukun@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"
说明安装成功,如果没显示重启系统reboot
6、将Hadoop添加到环境变量
(1)获取Hadoop安装路径
[zhukun@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2
(2)打开/etc/profile文件
[zhukun@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile
(3)保存后退出
(4)让修改后的文件生效
[zhukun@ hadoop101 hadoop-2.7.2]$ source /etc/profile
7、测试Hadoop是否安装成功
[zhukun@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2
说明安装成功,如果没显示重启系统reboot
3、Hadoop的目录结构
1、查看Hadoop目录结构
2、重要目录
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例