hadoop集群搭建虚拟机 hadoop虚拟机环境准备步骤

hadoop环境搭建（一）：环境准备

近期，学校开始了大数据课程，我带着学生从零到有一步一步架设大数据集群，现将具体步骤记录，以便更多初涉大数据的小白们有个参考，欢迎评论区留言讨论。
很少写博客，所以功能掌握的不够，只会简单功能，希望诸位看官见谅。

一、vmare安装

略

二、centos7安装

采用桥接模式，这样可以使用多台物理机组建网络。

三、模板hadoop虚拟机配置

1、配置

所有配置均在root用户下进行

其他用户切换到root用户：su root，然后输入root用户密码即可。

• 配置IP：vim /etc/sysconfig/network-scripts/ifcfg-ens33



• 配置主机名称 vim /etc/hostname 修改为：模板虚拟机名称：hadoop-czp-100
  这里主机名一定不能有下划线，因为hadoop规定主机名不能出现下划线，否则启动集群会失败，切记！不要问我为什么知道？因为这个问题困扰我一整天。
• 配置主机名称映射 vim /etc/hosts

以上配置完成后，重启linux系统使配置生效。reboot

• 配置win10主机名称映射（后期使用浏览器登录要用）
  
  在映射文件中添加如下内容：

2、安装软件补充仓库epel

yum install epel-release -y

安装过程如果出现进程锁定，可以直接关闭冲突进程即可

关闭方法：kill -9 进程号

3、关闭防火墙

因为在企业中，会使用专用硬件防火墙，所有内部主机没有必要再开启防火墙。

关闭防火墙并关闭开机自启功能

[root@hadoop-czp-1 ~]# systemctl stop firewalld
[root@hadoop-czp-1 ~]# systemctl disable firewalld

4、在系统中创建hadoop用户

因为通常不会在远程使用root用户，所以需要创建hadoop自己的用户，当然你在实验环境使用root用户也是可以的，但是在生产环境，公司是不会让你使用root用户部署集群系统的，所以还是创建个hadoop用户吧，以后其他系统也是一样，创建系统自己的用户。

[root@hadoop-czp-1 ~]# useradd haduser
[root@hadoop-czp-1 ~]# passwd haduser
更改用户 haduser 的密码 。
新的 密码：
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。

编辑/etc/sudoers文件，添加如下代码 ，这样使用haduser用户通过sudo命令执行root用户权限时，不用再输入自己的密码，总是就是授权haduser用户可以使用root权限。

###以root身份登录更改/etc/sudoers配置文件
[root@hadoop-czp-1 opt]# vim /etc/sudoers 
### 在配置文件如下代码添加
## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
## 以下为新增代码
haduser ALL=(ALL)       NOPASSWD:ALL

5、在/opt目录下创建两个文件夹software和module,并修改属主和属组为haduser,以备后续使用。

6、卸载虚拟机自带的JDK

虚拟机自带的JDK无法满足我们的需求，所以需要卸载，然后安装我们从官网下载的JDK1.8。

至此，模板虚拟机创建完毕。