大数据的概念就不在此赘述了,自己看书了解一下~下面说一下Hadoop集群的搭建及配置

1.Hadoop相关软件及版本

软件

版本

备注

Linux Os

CentOS6.8

64位

JDK

1.7+

64位

VMware

14pro(10以上的版本都可以啦)

Hadoop

2.6.5

已编译好的安装包

Eclipse

4.5.1

64位

Eclipse Hadoop插件

2.6.0

SSH连接工具(本文用Xshell6)

6

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win

2.安装配置虚拟机
在此讲解在个人电脑上安装Linux虚拟机,以远程访问的方式对其进行管理,并在线安装常用的软件包。尝试在Linux系统下进行基本文件操作。

2.1创建Linux虚拟机

虚拟机的安装就不在此多说,直接进入创建虚拟机环节。

打开安装好的VMware虚拟机,选择“创建新的虚拟机”选项,如图所示,接下来按照图片所选方式选择

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_02

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_03

hadoop开发环境 win Hadoop开发环境配置_CentOS_04

hadoop开发环境 win Hadoop开发环境配置_VMware_05

这个地方,虚拟机名称要设置为master,主节点名称,位置最好新建一个文件夹放虚拟机,因为接下来还有好几个虚拟机要创建,最好放在一个文件夹。

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_06

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_07

点击完成,创建完成。

hadoop开发环境 win Hadoop开发环境配置_VMware_08


点击编辑虚拟机设置

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_09


选择新CD/DVD所在行,在右边的“连接”组中选择“使用ISO映像文件”点击浏览

hadoop开发环境 win Hadoop开发环境配置_VMware_10

然后选择你下载好的LINUX(CentOS)的位置,点击打开。

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_11

点击确定。

hadoop开发环境 win Hadoop开发环境配置_CentOS_12

点击开启此虚拟机

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_13

选择第一个选项,安装或升级现有的系统

hadoop开发环境 win Hadoop开发环境配置_CentOS_14

选择Skip

hadoop开发环境 win Hadoop开发环境配置_VMware_15


点击Next

hadoop开发环境 win Hadoop开发环境配置_VMware_16


选择English Next

hadoop开发环境 win Hadoop开发环境配置_Hadoop_17


U.SEnglish Next

hadoop开发环境 win Hadoop开发环境配置_Hadoop_18


选择安装的存储设备

选择Basic …….. Next

hadoop开发环境 win Hadoop开发环境配置_CentOS_19


提示用户是否删除数据

选择Yse

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_20


设置主机名

主机名设置为“master.centos.com”

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_21


选择时区

我们这里选择“Asia/Shanghai”

hadoop开发环境 win Hadoop开发环境配置_CentOS_22


设置管理员密码,本教程所有节点的管理员密码都设置为“123456”,如果密码设置的过于简单,系统会弹出一个对话框

hadoop开发环境 win Hadoop开发环境配置_Hadoop_23


选择Anyway

hadoop开发环境 win Hadoop开发环境配置_VMware_24

接下来是分区与安装的界面,选择“Use All Space”,单击Next。

然后提示是否确认格式化与写入数据,选择Write changes to disk

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_25

选择安装CentOS组建,这里选择“Minimal”,单击Next

hadoop开发环境 win Hadoop开发环境配置_Hadoop_26


hadoop开发环境 win Hadoop开发环境配置_Hadoop_27


安装完成,单击“Reboot”按钮

hadoop开发环境 win Hadoop开发环境配置_Hadoop_28

输入用户名“root”以及密码“123456”回车登陆

hadoop开发环境 win Hadoop开发环境配置_hadoop开发环境 win_29

至此完成Linux主节点的安装