Hadoop的cdh版本下载

Hadoop2.7.3完全分布式搭建

1.软件准备：

下载虚拟机软件VMware 。
下载Linux 镜像文件。
下载客户端连接工具XShell与XFtp
下载jdk
下载hadoop
2.软件安装
2.1节点：
     192.168.179.100   master
     192.168.179.101   slave1
     192.168.179.102   slave2
     192.168.179.103   slave3
2.2准备Linux环境
2.2.1为了便于操作修改主机和IP的映射关系
vim /etc/hosts
     192.168.179.100   master
     192.168.179.101   slave1
     192.168.179.102   slave2
     192.168.179.103   slave3
2.2.2设置虚拟机中的网络设置
vi /etc/sysconfig/network 
NETWORKING=yes
GATEWAY=192.168.179.12.2.3修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
TYPE=Ethernet 
IPADDR=192.168.179.100 
NETMASK=255.255.255.0 
2.2.4修改主机名测试网络是否正常
 hostnamectl set-hostname master 
重启网络service network restart
互相ping，看是否测试成功，若不成功，注意防火墙的影响。
关闭windows或虚拟机的防火墙。
2.2.5关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
2.3安装jdk,并配置环境变量
安装JDK
上传jdk-7u79-linux-x64.tar.gz到linux
解压jdk
创建文件夹
 mkdir /usr/java
解压
 tar zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java/
将java添加到环境变量中
 vim /etc/profile
在文件最后添加
 export JAVA_HOME=/usr/java/jdk1.7.0_79/
 export PATH=$PATH:$JAVA_HOME/bin
刷新配置
 source /etc/profile
 
2.4安装配置hadoop2.7.3
先上传hadoop的安装包到服务器
配置hadoop
第一个：hadoop-env.sh
 vim hadoop-env.sh
 export JAVA_HOME=/usr/java/jdk1.7.0_79/
第二个：core-site.xml
指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://master:9000</value>
 </property>
指定hadoop运行时产生文件的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/hadoop1/temp</value>
    </property>
 
第三个：hdfs-site.xml   hdfs-default.xml  (3)
指定HDFS副本的数量 -->
 <property>
 <name>dfs.replication</name>
 <value>1</value>
    </property>
      
将hadoop添加到环境变量
 
 vim /etc/proflie
 export JAVA_HOME=/usr/java/jdk1.7.0_79
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 source /etc/profile
 
测试hadoop命令是否可以直接执行，任意目录下敲hadoop
关闭虚拟机，复制3份
分别修改虚拟机的ip和hostname，确认互相能够ping通，用ssh登陆，同时修改 所 有虚拟机的/etc/hosts，确认使用名字可以ping通
修改master上/etc/hadoop/slaves文件，每一个slave占一行 
slave1
slave2
slave3 
 
2.5.配置ssh免登陆
生成ssh免登陆密钥
进入到我的home目录
 cd ~/.ssh
 
（四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
 ssh-copy-id localhost
2.6启动集群
格式化namenode（是对namenode进行初始化）
 hdfs namenode -format (hadoop namenode -format)
启动hadoop
 sbin/start-dfs.sh
验证是否启动成功
使用jps命令验证
在master出现
23960 SecondaryNameNode
23652 NameNode
在slave1、slave2、slave1
出现
19282 DataNode
19448 DataNode
19110 DataNode

（HDFS管理界面）