Centos 7 Hadoop集群安装:

hadoop 用户创建 :(注意三台节点都必须创建!)
进入root用户后执行命令:
useradd hadoop (此时hadoop用户无sudo权限!)
passward hadoop 为hadoop用户添加密码!
vim /etc/sudoers
找到root那一行在下面模仿root在写一行
把root改为hadoop!保存退出!
此时 su hadoop 后 hadoop用户便有了sudo权限!
至此,无须在进入root用户,只需要在命令前加sudo即可!
然后在hadoop目录下创建src 文件夹:
sudo mkdir /home/hadoop/src

下面进行Hadoop安装:

前提:在创建好hadoop用户后,将压缩并改名后的 hadoop文件 和 java文件 放到 /home/hadoop/src/目录下。
提示:一般桌面路径都在:/hame/用户名/Desktop/ 使用mv 命令即可将其移动至指定位置。

一, 三节点之间的互联:(各节点皆执行此操作!)

1.IP配置:

重要提示:xxx为虚拟网络编辑器中VMnet8下子网IP第二个点后的数字!
yyy 取值范围一般在128-254之间,自己定义就行!
配置网络: vim /etc/sysconfig/network-scripts/ifcfg-ens33

将第四行“dhcp ”改为“static”
最后一行no 改为 yes
追加内容如下:

IPADDR=192.168.xxx.yyy
 NETMASK=255.255.255.0
 GATEWAY=192.168.xxx.2
 DNS1=192.168.xxx.2

配完后重启网络:service network restart

2.hosts文件配置:

vim /etc/hosts

添加内容如下:

192.168.xxx.yyy master
 192.168.xxx.yyy slave1
 192.168.xxx.yyy slave2

3.免密钥登录配置:

执行命令:ssh-keygen

ssh-copy-id  master 
         ssh-copy-id  slave1
         ssh-copy-id  slave2

到此步,在主节点执行:ssh slave1和ssh slave2如果无需输入密码就能连入成功,那么IP配置和免密钥登陆就算配置成功了!

二,配置环境变量:(各节点都要配置!)

执行命令:vim /etc/profile
追加内容如下:
#java
 export JAVA_HOME=/home/hadoop/src/java
 export PATH=PATH#hadoop
 export HADOOP_HOME=/home/hadoop/src/hadoop
 export PATH=PATH保存后在主节点执行命令:source /etc/profile(注意此时不用在从节点执行source命令,因为Hadoop和Java包还没从主节点复制过来!)
 …此时在主节点执行命令:java -version 和hadoop version 查看hadoop和java包是否安装成功!
…

三,Hadoop文件配置:

vim /opt/hadoop/etc/hadoop/hadoop-env.sh
将JAVA_HOME路径改为: /opt/java/
 …vim /opt/hadoop/etc/hadoop/core-site.xml
 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> hadoop.tmp.dir /data/tmp/hadoop/tmp fs.defaultFS hdfs://master:9000/ NameNode URI 
…
 vim /opt/hadoop/etc/hadoop/hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> dfs.namenode.name.dir /data/tmp/hadoop/hdfs/name dfs.datanode.data.dir /data/tmp/hadoop/hdfs/data dfs.replication 1 dfs.permissions false 
…
vim /opt/hadoop/etc/hadoop/yarn-site.xml
 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> yarn.nodemanager.aux-services mapreduce_shuffle 
…
vim /opt/hadoop/etc/hadoop/yarn-site.xml
 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> yarn.nodemanager.aux-services mapreduce_shuffle 
…
vim /opt/hadoop/etc/hadoop/mapred-site.xml
 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> mapreduce.framework.name yarn 
…
 修改Hadoop Slave文件:(再主节点执行!)sudo vim /opt/hadoop/etc/hadoop/slaves
master
 slave1
 slave2…

四,拷贝文件:(在主节点执行!)

sudo scp -r /home/hadoop/src/hadoop /home/hadoop/src/java slave1:/home/hadoop/src/
 sudo scp -r /home/hadoop/src/hadoop /home/hadoop/src/java slave2:/home/hadoop/src/


五,在所有节点创建data文件夹:

sudo mkdir /data
…

六,将hadoop和Java文件权限赋zhid给hadoop用户:

sudo chown -R hadoop.hadoop /home/hadoop/src/hadoop
 sudo chown -R hadoop.hadoop /home/hadoop/src/java


七,Hadoop的启动:

1.格式化namenode:
 hdfs hadoop namenode -format…
2.启动hadoop:
/home/hadoop/src/hadoop/sbin/start-all.sh
…
 3.jps
 …

八,50070可视化管理界面查看hadoop集群安装是否成功:

首先在三台节点关闭防火墙:执行命令:

systemctl stop firewalld.service
 然后在Windows上打开浏览器
 输入 主机IP:50070
 进入之后查看datanode


如果上出现三台即为成功!