大数据的概念就不在此赘述了,自己看书了解一下~下面说一下Hadoop集群的搭建及配置
1.Hadoop相关软件及版本
软件 | 版本 | 备注 |
Linux Os | CentOS6.8 | 64位 |
JDK | 1.7+ | 64位 |
VMware | 14pro(10以上的版本都可以啦) | |
Hadoop | 2.6.5 | 已编译好的安装包 |
Eclipse | 4.5.1 | 64位 |
Eclipse Hadoop插件 | 2.6.0 | |
SSH连接工具(本文用Xshell6) | 6 |
2.安装配置虚拟机
在此讲解在个人电脑上安装Linux虚拟机,以远程访问的方式对其进行管理,并在线安装常用的软件包。尝试在Linux系统下进行基本文件操作。
2.1创建Linux虚拟机
虚拟机的安装就不在此多说,直接进入创建虚拟机环节。
打开安装好的VMware虚拟机,选择“创建新的虚拟机”选项,如图所示,接下来按照图片所选方式选择
这个地方,虚拟机名称要设置为master,主节点名称,位置最好新建一个文件夹放虚拟机,因为接下来还有好几个虚拟机要创建,最好放在一个文件夹。
点击完成,创建完成。
点击编辑虚拟机设置
选择新CD/DVD所在行,在右边的“连接”组中选择“使用ISO映像文件”点击浏览
然后选择你下载好的LINUX(CentOS)的位置,点击打开。
点击确定。
点击开启此虚拟机
选择第一个选项,安装或升级现有的系统
选择Skip
点击Next
选择English Next
U.SEnglish Next
选择安装的存储设备
选择Basic …….. Next
提示用户是否删除数据
选择Yse
设置主机名
主机名设置为“master.centos.com”
选择时区
我们这里选择“Asia/Shanghai”
设置管理员密码,本教程所有节点的管理员密码都设置为“123456”,如果密码设置的过于简单,系统会弹出一个对话框
选择Anyway
接下来是分区与安装的界面,选择“Use All Space”,单击Next。
然后提示是否确认格式化与写入数据,选择Write changes to disk
选择安装CentOS组建,这里选择“Minimal”,单击Next
安装完成,单击“Reboot”按钮
输入用户名“root”以及密码“123456”回车登陆
至此完成Linux主节点的安装