jdk、hadoop安装,hadoop集群配置
一、jdk安装
下载lrzsz包
进入到software目录,并且输入命令rz
选择jdk文件点击Add -> OK,等待下载完成
将jdk压缩包解压到/export/servers目录下
解压错目录,重新修改成/root/export/servers/目录下
修改jdk文件夹名称
修改/etc/profile文件
在最后一行输入以下语句
查看目录
检验java安装成功与否,成功
接着修改hadoop02的错误目录,将export建在root目录下面
修改完成
以配置hadoop01的jdk的方法配置剩下的两个虚拟机
二、hadoop安装
继续使用rz命令下载hadoop的安装压缩包
接着解压到/root/export/servers目录下面
接着在/etc/profile文件添加hadoop环境变量
最后检验安装成功
接着同样是方法配置别的虚拟机
三、hadoop集群配置
编辑修改hadoop的/etc/hadoop内的core-site.xml文件
修改如下:
修改hdfs-site.xml文件
修改mapred-site.xml文件
修改yarn-site.xml文件
在workers文件添加内容
修改hadoop-env.sh文件
把配置好的profile目录整个发送给hadoop02,发现是hadoop目录,把配置好的/etc/hadoop目录整个发送给hadoop02
查看hadoop02
把配置好的/etc/hadoop目录整个发送给hadoop02
格式化hadoop03、hadoop02、hadoop01
结果发现书本只需要格式化hadoop01,使用书本命令开启主节点,发现命令不可用
百度,发现,命令需要修改
以此在hadoop01、hadoop02、hadoop03使用命令开启进程
查看hadoop02进程状态
查看hadoop01的进程状态,发现只有namenode进程开启成功
查看hadoop03进程状态
突然发现是发送配置文件/etc/profile给hadoop02与hadoop03,重新发送
继续开启查看状态
不对,少了,修改
查看仍然不能开启
查看日志文件
修改jdk版本,这里已经将jdk1.8安装好,修改环境变量,定位到jdk8的目录(这里已经修改jdk1.8目录为jdk8,后面同样)
重启查看是否已改,显示成功
使用scp命令直接把解压好的jdk8目录发送给hadoop02、hadoop03,并且查看
重新尝试开启
进程不对
查看hadoop02状态
Hadoop01仍然不对
关闭防火墙
修改文件
查看日志
继续尝试开启
修改本机电脑windows的hosts文件
查看端口占用情况
查看防火墙状态
在windows浏览器查看状态,失败
换个浏览器,采用9870端口访问,尝试,成功
但是8088端口仍然不行
修改文件
继续尝试开启
开启报错
查看端口占用情况,发现没有命令lsof,下载安装
仍然不行,修改文件
继续尝试,resourcemanager开启成功
在windows访问8088端口,成功