虚拟机上Hadoop的安装到启动
前言:在一台电脑上利用虚拟机配置Hadoop集群,可以方便我们对Hadoop的了解和使用,这里讲的是从配置网络到完成Hadoop的安装步骤,首先,在网上下载对应的版本,建议不要下载最新的版本,因为最新版本会有一些漏洞和调试不当,应该使用一些最稳定的版本.笔者这里使用的是2.6.5版本,
1. 创建虚拟机
由于老版笔记本,配置较差,这里设置的内存为1G,硬盘分配15G,也可以带的动集群
按照步骤创建几台虚拟机作为集群,这里创建三台虚拟机,分别为hdp01,hdp02,hdp03
2.配置网络
1:配置路由器的网络
点击编辑虚拟机,
然后
点击NAT设置:
配置相关IP,这里的GATEWAY:指的是网关,也就是路由器的IP地址
2:配置VMNet8网络
点击电脑主机的网络图标,右键打开网络和Internet设置,
选择IPV4,设置网络
编辑虚拟机:/etc/sysconfig/network-scipts/ifcfg-eth0:加入相关信息:
重起机器: reboot,
重启网络服务:service network start;
检测是否成功:ping baidu 或者windows机器的ip
3.为了方便SecoreCRT的使用,直接写主机名字就可以链接,要修改域名的映射文件
Window:C:/windows/system32/drivers/etc/hosts
添加三个虚拟机的IP地址:192.168.26.50 hdp01
192.168.26.51 hdp02
192.168.26.52 hdp03
Linux: /etc/hosts里也放入
192.168.26.50 hdp01
192.168.26.51 hdp02
192.168.26.52 hdp03
4.克隆:
克隆完整之后,编辑虚拟机设置,点击高级,重新生成MAC地址修改主机名称 /etc/sysconfig/network把主机名改为hdp02,reboot重启
修改IP文件: /etc/sysconfig/network-scripts/ifcfg-eth0
删除里面的MAC地址
修改IP地址为192.168.26.51
打开MAC文件: /etc/ude…/ru…/70-xxx-net.xxxx
删除eth0 选项
将eth1改成eth0
校验主机名称和网络是否成功:ping www.baidu.com
5. 主机名 IP 映射文件 关闭防火墙
service iptables stop;service iptables status
chkconfig iptables off;chkconfig --list | grep “iptables”
6.安装ssh客户端
SSH 为 Secure Shell（安全外壳协议） 的缩写。
很多ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。
yum install -y openssh-clients
基于密钥安全验证的SSH登陆
针对客户端命令如下：
1.产生对应的秘钥(公钥和私钥)
# ssh-keygen
....Enter....
....Enter....
....Enter....
Your identification has been saved in /Users/wolfcode/.ssh/id_rsa.
Your public key has been saved in /Users/wolfcode/.ssh/id_rsa.pub.
2.将公钥直接发送到目标机器的秘钥池里去
# ssh-copy-id root@192.168.7.103
3.输入密码
4.以后的对192.168.7.103的任何操作不需要密码.7.安装JDK
yum install -y lrzsz :可以直接把软件压缩包直接拖动到Linux上的一个小程序,可以方便我们直接上传文件到linux系统上
怎么拖文件:直接拖 选最后一个选项
.安装Java
1.解压
tar -zxvf jdk, rm -rf jdk压缩包
mkdir java, mv jdk java,把jdk放在usr的java目录下 /usr/java/jdk1.8.0_45
2.配置环境变量
vi /etc/profile
加入
:export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin3.source /etc/profile
4.校验hdp01上的java
5.对hdp01 hdp02 hdp03做免密登录
命令:ssh -keygen:生成公私钥
ssh-copy-id root@hdp01,选择yes,所有虚拟机都要做同样的操作验证是否成功:ssh root@hdp02,会切换到hdp02,exit退出
6.分发java文件夹和/etc/profile
发送java文件夹:scp -r java / root@hdp02:$PWD
-r:是对目录的递归们对于文件不用
发送/etc/profile文件到每一个虚拟机中:scp /etc/profile root@hdp02:/etc
7.校验3台机器的java:
先要三台机器所有的source /etc` /profile,
然后再查看java -version
8:检测:
直接再虚拟机输入hadoop,看有无提示就可判断是否安装成功.
