Hadoop为分布式搭建过
1利用之前安装好的虚拟环境下的linux系统
2关闭防火墙
①查看防火墙状态
[root@standalone ezr]# service iptables status
②关闭防火墙
a重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off b即时生效，重启后失效 开启： service iptables start 关闭： service iptables stop
3关闭SELinux
4安装linux版的jdk
注意安装前要卸载掉centos自己带的jdk我们不用，因为我们要使用自己的jdk
[root@standalone ~]# rpm -qa |grep java ----- 查看centos自带的jdk包
[root@standalone ~]# rpm -e --nodeps 上面查出来的包 — 删除包命令
①把jdk-8u121-linux-x64.tar上传到software。
②解压jdk-8u121-linux-x64.tar到modules目录下
[root@standalone software]# tar -xvf jdk-8u121-linux-x64.tar.gz -C /opt/modules/
③配置linux中jdk的环境变量
在/etc/profile文件中添加jdk的目录
##JAVA_HOMR
JAVA_HOME=/opt/modules/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin 
5 把上面创建的softwate和modules目录 设置拥有者和所属组
[root@standalone opt]# chown -R ezr:ezr modules
[root@standalone opt]# chown -R ezr:ezr software
到此环境准备彻底完成了。
开始搭建hadoop的伪分布式系统，注意此时切换到了普通用户ezr下进行操作
6安装hadoop（解压即安装）
①上传hadoop-2.6.0-cdh5.8.0.tar.gz到software目录下
②解压hadoop-2.6.0-cdh5.8.0.tar.gz到modules目录下
[ezr@standalone software]$ tar -xvf hadoop-2.6.0-cdh5.8.0.tar.gz -C /opt/modules/
7 搭建HDFS文件系统
①修改文件 配置环境变量
Export JAVA_HOME=/opt/modules/jdk1.8.0_121
② 修改core-site.xml 配置文件
##配置hdfs默认启动主机地址，端口号是8020
<property>
<name>fs.defaultFS</name>
<value>hdfs://:8020</value>
</property>
③ 修改hdfs-site.xml 配置文件
##配置hdfs安全策略址副本个数，因为是为分布式，就一台机器，
##所以副本数这里设置为1
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
④设置文件存放目录，如果不设置的话hdfs会有个临时存放目录tmp下次启动的时候可能会出问题，所以我给他制定一个特定的目录。
[ezr@standalone hadoop-2.6.0-cdh5.8.0]$ mkdir data
在core-site.xml添加属性，表示hadoop文件存储数据的目录
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.6.0-cdh5.8.0/data</value>
</property>
⑤格式化文件系统
⑦启动namenode
⑧启动datanode
⑨查看启动进程
如上图说明namenode和datanode启动成功了
⑩测试伪分布式是下的HDFS文件系统是否配置并启动成功
通过hdfs的web监控界面测试hdfs
http://:50070/
上传一任意文件看看是否成功
到此表示hdfs文件系统配置完成
8 搭建 hadoop-2.6.0-cdh5.8.0YARN平台
①文件中设置 JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_121
②文件中设置JAVA_HOME
③修改文件名mapred-site.xml.template成 mapred-site.xml
④在mapred-site.xml文件中添加以下属性。配置mapreduce运行在yarn平台上
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
⑤在yarn-site.xml文件中添加以下属性，配置mapreduce中间需要经过shuffle过程
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
⑥启动YARN
测试yarn平台，在上面跑一个hadoop自带的例子wordcount
[ezr@standalone hadoop-2.6.0-cdh5.8.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.8.0.jar wordcount /HDFStest.txt /wc
测试成功
9 配置免秘钥登录
配置日志聚合
Hadoop搭建完成
