Centos 7 Hadoop集群安装:
hadoop 用户创建 :(注意三台节点都必须创建!)
进入root用户后执行命令:
useradd hadoop (此时hadoop用户无sudo权限!)
passward hadoop 为hadoop用户添加密码!
vim /etc/sudoers
找到root那一行在下面模仿root在写一行
把root改为hadoop!保存退出!
此时 su hadoop 后 hadoop用户便有了sudo权限!
至此,无须在进入root用户,只需要在命令前加sudo即可!
然后在hadoop目录下创建src 文件夹:
sudo mkdir /home/hadoop/src
下面进行Hadoop安装:
前提:在创建好hadoop用户后,将压缩并改名后的 hadoop文件 和 java文件 放到 /home/hadoop/src/目录下。
提示:一般桌面路径都在:/hame/用户名/Desktop/ 使用mv 命令即可将其移动至指定位置。
一, 三节点之间的互联:(各节点皆执行此操作!)
1.IP配置:
重要提示:xxx为虚拟网络编辑器中VMnet8下子网IP第二个点后的数字!
yyy 取值范围一般在128-254之间,自己定义就行!
配置网络: vim /etc/sysconfig/network-scripts/ifcfg-ens33
将第四行“dhcp ”改为“static”
最后一行no 改为 yes
追加内容如下:
IPADDR=192.168.xxx.yyy
NETMASK=255.255.255.0
GATEWAY=192.168.xxx.2
DNS1=192.168.xxx.2
配完后重启网络:service network restart
2.hosts文件配置:
vim /etc/hosts
添加内容如下:
192.168.xxx.yyy master
192.168.xxx.yyy slave1
192.168.xxx.yyy slave2
3.免密钥登录配置:
执行命令:ssh-keygen
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
到此步,在主节点执行:ssh slave1和ssh slave2如果无需输入密码就能连入成功,那么IP配置和免密钥登陆就算配置成功了!
二,配置环境变量:(各节点都要配置!)
执行命令:vim /etc/profile
追加内容如下:
#java
export JAVA_HOME=/home/hadoop/src/java
export PATH=PATH#hadoop
export HADOOP_HOME=/home/hadoop/src/hadoop
export PATH=PATH保存后在主节点执行命令:source /etc/profile(注意此时不用在从节点执行source命令,因为Hadoop和Java包还没从主节点复制过来!)
…此时在主节点执行命令:java -version 和hadoop version 查看hadoop和java包是否安装成功!
…
三,Hadoop文件配置:
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
将JAVA_HOME路径改为: /opt/java/
…vim /opt/hadoop/etc/hadoop/core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> hadoop.tmp.dir /data/tmp/hadoop/tmp fs.defaultFS hdfs://master:9000/ NameNode URI
…
vim /opt/hadoop/etc/hadoop/hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> dfs.namenode.name.dir /data/tmp/hadoop/hdfs/name dfs.datanode.data.dir /data/tmp/hadoop/hdfs/data dfs.replication 1 dfs.permissions false
…
vim /opt/hadoop/etc/hadoop/yarn-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> yarn.nodemanager.aux-services mapreduce_shuffle
…
vim /opt/hadoop/etc/hadoop/yarn-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> yarn.nodemanager.aux-services mapreduce_shuffle
…
vim /opt/hadoop/etc/hadoop/mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> mapreduce.framework.name yarn
…
修改Hadoop Slave文件:(再主节点执行!)sudo vim /opt/hadoop/etc/hadoop/slaves
master
slave1
slave2…
四,拷贝文件:(在主节点执行!)
sudo scp -r /home/hadoop/src/hadoop /home/hadoop/src/java slave1:/home/hadoop/src/
sudo scp -r /home/hadoop/src/hadoop /home/hadoop/src/java slave2:/home/hadoop/src/
五,在所有节点创建data文件夹:
sudo mkdir /data
…
六,将hadoop和Java文件权限赋zhid给hadoop用户:
sudo chown -R hadoop.hadoop /home/hadoop/src/hadoop
sudo chown -R hadoop.hadoop /home/hadoop/src/java
…
七,Hadoop的启动:
1.格式化namenode:
hdfs hadoop namenode -format…
2.启动hadoop:
/home/hadoop/src/hadoop/sbin/start-all.sh
…
3.jps
…
八,50070可视化管理界面查看hadoop集群安装是否成功:
首先在三台节点关闭防火墙:执行命令:
systemctl stop firewalld.service
然后在Windows上打开浏览器
输入 主机IP:50070
进入之后查看datanode
如果上出现三台即为成功!