Hadoop集群搭建—环境准备

一、 实验环境
Windows10
VMware Workstation 12 pro
镜像文件：Centos7
二，实验步骤

  1. 安装VMware以及新建虚拟机，并将镜像文件（.iso）下载到本地
    进入CentOS官网https://www.centos.org/ 下载CentO S7安装文件
    安装虚拟机的操作系统：在开启虚拟机之前，进入编辑虚拟机机设置，找到CD/DVD（IDE），点击进入，在右侧选择使用ISO镜像文件，浏览选中之前下载的文件即可。
    开启虚拟机时，需要注意两点：在进入安装系统摘要时，软件选择不要选择最小安装，进入选着GNOME桌面即可。另一个是在用户设置界面的时候，我直接偷懒只设置了root用户，没有创建用户，因为后面很多操作要涉及到权限，此处就直接只创建了root用户了。
  2. 关闭防火墙
    因为集群一般都是内网搭建的，如果内网内开启防火墙，内网集群通讯就会出现很多问题，因此需要关闭集群中的每个节点的防火墙。
firewall-cmd –state#查看防火墙状态
systemctl stop firewalld#关闭防火墙
systemctl disable firewalld#禁止防火墙开机启动

hadoop虚拟机hdfs Hadoop虚拟机怎么设置gnome界面_IP


3. 设置固定IP

为了避免后续启动操作系统后IP地址改变了，导致本地SS和连接不上，节点之间无法访问，需要设置固定的IP

3.1修改子网IP

在VMware中单机菜单栏的【编辑】/【虚拟网络编辑器】，选中VMnet8 NAT模式，

这一行里的子网地址和左下角的子网IP必须保持一致。（每个人的都不一样）此处举例为192.168.170.0

在虚拟机里面，右上角有线设置中，配置1中IPV4为192.168.170.133，添加配置shezhi IPV4为192.168.170.134，网路掩码：255.255.255.0网关192.168.170.2DNS为114.114.114.114，别忘了点击应用！

试试ping百度，能ping通就ok.

hadoop虚拟机hdfs Hadoop虚拟机怎么设置gnome界面_hadoop虚拟机hdfs_02

  1. 修改主机名
vi /etc/hostname  #重启后生生效
  1. 新建目录
mkdir /opt/softwares
mkdir /opt/modules
mkdir /opt/data
  1. 安装JDK
    6.1用Xftp将jdk安装包上传到根目录下/opt/softwares/
    此处版本为jdk-8u144-linux-x64.tar.gz
    进入/opt/softwares/
    解压到/opt/modules下：
tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/modules/

6.2配置jdk环境变量

vi /etc/profile

在文件末尾加入以下内容：

export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

刷新profile文件，使其修改成效（这一步以后会用到很多）

source /etc/profile

查看JDK是否安装成功：

hadoop虚拟机hdfs Hadoop虚拟机怎么设置gnome界面_大数据_03


7. 克隆虚拟机

需关闭虚拟机，再克隆，记得选择完整克隆即可。

hadoop虚拟机hdfs Hadoop虚拟机怎么设置gnome界面_主机名_04


8. 修改另外两台虚拟机

如同修改第一台虚拟机一样，修改主机名，设置固定的IP地址，

192.168.170.134 192.168.170.135

配置主机IP映射，使得三台虚拟机之间可以ping通

vi /etc/hosts

将以下内容写入每一台虚拟机

192.168.170.133    centos01
192.168.170.134    centos02
192.168.170.135    centos03

然后三台虚拟机之间互相ping，ping IP地址或者是主机名都可以
（需注意一点，IP地址之间是“.”而不是“，”）

  1. 修改本地hosts文件并ping
    Windows10 需要修改用户权限。。。。。。
    因为几个合作伙伴遇到的问题都不一样，这里就不再追述了。
    最后检测：打开命令行，ping一下三台虚拟机IP或者主机名，能ping通即可。
    环境搭建完成。