虚拟机的创建（可以自行百度）
虚拟机静态网络的设置
1：首先更改虚拟机的名字
hostnamectl set-hostname hadoop22：进入network配置文件夹中,配置你的虚拟网卡
cd /etc/sysconfig/network-scripts/vim ifcfg-ens33
3:在系统原来的配置上，改
BOOTPROTO=static
ONBOOT=yes
4:添加配置（记得和你的相应配置相对应）
IPADDR=192.168.72.100
NETMASK=255.255.255.0
GATEWAY=192.168.72.2
DNS1=8.8.4.4
5：下面就有一些长得比较帅的小同学问了，上面这些东西我从哪里来呢？，别着急，这就一步一步告诉你
首先，打开vmware,点击编辑，
点击虚拟网络编辑器
点击vMent8,再点击net设置即可
IPADDR 代表你的新的ip
NETMASK 代表子网掩码
GATEWAY 你的网关
DNS1 你的 DNS（默认填写8.8.8.8）
配置好网络之后，记得重启网络服务
service network restart
尝试ping百度
ping www.baidu.com
最后使用yum源安装你的vim,让你的字体拥有颜色
yum -y install vimxshell连接你的虚拟机，xftp传入hadoop和java的安装包
**xshell连接虚拟机不再过多介绍，
开始解压java和hadoop的安装包
cd ~
在虚拟机opt目录下soft文件夹再在soft文件夹下创建java和hadoop文件夹
cd ~解压javaJDK到opt目录的java目录
tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/soft/java/
解压hadoop到opt下的hadoop目录下
tar -zxvf hadoop-2.7.7.tar.gz -C /opt/soft/hadoop/
查看是否解压成功
将Hadoop添加到环境变量
获取 Hadoop 安装路径
打开/etc/profile 文件
在 profile 文件末尾添加 JDK 路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin将Java添加到环境变量
获取java安装环境
打开/etc/profile 文件
在 profile 文件末尾添加 JDK 路径
#JAVA_HOME
export JAVA_HOME=/opt/soft/jdk/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin退出保存后让配置生效
source /etc/profile
测试Java环境和Hadoop环境
Java测试
hadoop测试
hadoop version
开始hadoop完全分布式的搭建
集群规划部署
配置集群
首先进入hadoop的相关目录（千万别进错目录了 （0-0））
配置 core-site.xml
vim core-site.xml
在该文件中编写如下配置
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop-2.7.7/data/tmp</value>
</property>
配置HDFS 配置文件
配置 hadoop-env.sh
vim hadoop-env.shexport JAVA_HOME=/opt/java/jdk1.8.0_261
配置 hdfs-site.xml
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定 Hadoop 辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop4:50090</value>
</property>
**配置 yarn-env.sh
vim yarn-env.sh**
export JAVA_HOME=/opt/java/jdk1.8.0_261
**配置 yarn-site.xml
vi yarn-site.xml**
在该文件中增加如下配置
<!-- Reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
**MapReduce 配置文件
配置 mapred-env.sh**
vim mapred-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_261
**配置 mapred-site.xml**
从模板复制一份并改名为 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
编辑 mapred-site.xml
vi mapred-site.xml
在该文件中增加如下配置
<!-- 指定 MR 运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property><!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
将配置好的虚拟机克隆为三台（如何克隆？不会？别慌！这就来教你）
1：首先，关闭你创建好的虚拟机
shutdown -h now
2 点击下一步
3 点击下一步
4：选择完整克隆
配置另外两台虚拟机的ip和主机名
把已经克隆的两台机子的主机名和ip添加在etc下面的hosts
vim /etc/hosts添加另外两台的主机名和ip
最后三台虚拟机的hosts内容应当一致
配置相关的ssh免密钥登录（为什么要配置ssh免密钥登录）
单节点启动太麻烦！！！
生成公钥和私钥：
ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登录的目标机器上
ssh-copy-id hadoop2
ssh-copy-id hadoop3
ssh-copy-id hadoop4群起节点最后的准备
配置 slaves
cd /opt/soft/hadoop-2.7.t/etc/hadoop/slaves编辑salves
vim slaves在该文件中增加如下内容：(创建的三台虚拟机都要添加)
hadoop2
hadoop3
hadoop4
启动集群
如果集群是第一次启动，需要格式化 NameNode（注意格式化之前，一定要先停
止上次启动的所有 namenode 和 datanode 进程，然后再删除 data 和 log 数据）
bin/hdfs namenode -format
在你的主节点上启动dfs（上面的查看进程没有启动yarn）
start-dfs.sh
在你配置yarn的机子上启动yarn
start-yarn.sh
打开你的浏览器输入ip+端口
