jdk、hadoop安装,hadoop集群配置

一、jdk安装

下载lrzsz包

Hadoop配置JMX Hadoop配置jdk_xml文件

 进入到software目录,并且输入命令rz

Hadoop配置JMX Hadoop配置jdk_修改文件_02

Hadoop配置JMX Hadoop配置jdk_hadoop_03

选择jdk文件点击Add -> OK,等待下载完成

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_04

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_05

将jdk压缩包解压到/export/servers目录下

Hadoop配置JMX Hadoop配置jdk_修改文件_06

解压错目录,重新修改成/root/export/servers/目录下

Hadoop配置JMX Hadoop配置jdk_xml文件_07

修改jdk文件夹名称

Hadoop配置JMX Hadoop配置jdk_hadoop_08

修改/etc/profile文件

Hadoop配置JMX Hadoop配置jdk_修改文件_09

在最后一行输入以下语句

Hadoop配置JMX Hadoop配置jdk_xml文件_10

查看目录

Hadoop配置JMX Hadoop配置jdk_xml文件_11

检验java安装成功与否,成功

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_12

接着修改hadoop02的错误目录,将export建在root目录下面

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_13

修改完成

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_14

以配置hadoop01的jdk的方法配置剩下的两个虚拟机

Hadoop配置JMX Hadoop配置jdk_修改文件_15

Hadoop配置JMX Hadoop配置jdk_xml文件_16

Hadoop配置JMX Hadoop配置jdk_xml文件_17

Hadoop配置JMX Hadoop配置jdk_hadoop_18

 

二、hadoop安装

继续使用rz命令下载hadoop的安装压缩包

Hadoop配置JMX Hadoop配置jdk_修改文件_19

Hadoop配置JMX Hadoop配置jdk_xml文件_20

Hadoop配置JMX Hadoop配置jdk_xml文件_21

接着解压到/root/export/servers目录下面

Hadoop配置JMX Hadoop配置jdk_hadoop_22

Hadoop配置JMX Hadoop配置jdk_修改文件_23

接着在/etc/profile文件添加hadoop环境变量

Hadoop配置JMX Hadoop配置jdk_hadoop_24

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_25

最后检验安装成功

Hadoop配置JMX Hadoop配置jdk_xml文件_26

接着同样是方法配置别的虚拟机

Hadoop配置JMX Hadoop配置jdk_修改文件_27

 

三、hadoop集群配置

编辑修改hadoop的/etc/hadoop内的core-site.xml文件

Hadoop配置JMX Hadoop配置jdk_hadoop_28

Hadoop配置JMX Hadoop配置jdk_hadoop_29

修改如下:

Hadoop配置JMX Hadoop配置jdk_hadoop_30

Hadoop配置JMX Hadoop配置jdk_xml文件_31

修改hdfs-site.xml文件

Hadoop配置JMX Hadoop配置jdk_修改文件_32

Hadoop配置JMX Hadoop配置jdk_xml文件_33

修改mapred-site.xml文件

Hadoop配置JMX Hadoop配置jdk_xml文件_34

Hadoop配置JMX Hadoop配置jdk_修改文件_35

修改yarn-site.xml文件

Hadoop配置JMX Hadoop配置jdk_hadoop_36

Hadoop配置JMX Hadoop配置jdk_xml文件_37

在workers文件添加内容

Hadoop配置JMX Hadoop配置jdk_xml文件_38

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_39

修改hadoop-env.sh文件

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_40

Hadoop配置JMX Hadoop配置jdk_修改文件_41

把配置好的profile目录整个发送给hadoop02,发现是hadoop目录,把配置好的/etc/hadoop目录整个发送给hadoop02

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_42

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_43

Hadoop配置JMX Hadoop配置jdk_xml文件_44

Hadoop配置JMX Hadoop配置jdk_hadoop_45

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_46

Hadoop配置JMX Hadoop配置jdk_xml文件_47

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_48

查看hadoop02

Hadoop配置JMX Hadoop配置jdk_修改文件_49

把配置好的/etc/hadoop目录整个发送给hadoop02

Hadoop配置JMX Hadoop配置jdk_xml文件_50

格式化hadoop03、hadoop02、hadoop01

Hadoop配置JMX Hadoop配置jdk_hadoop_51

Hadoop配置JMX Hadoop配置jdk_修改文件_52

Hadoop配置JMX Hadoop配置jdk_xml文件_53

结果发现书本只需要格式化hadoop01,使用书本命令开启主节点,发现命令不可用

Hadoop配置JMX Hadoop配置jdk_hadoop_54

百度,发现,命令需要修改

Hadoop配置JMX Hadoop配置jdk_xml文件_55

以此在hadoop01、hadoop02、hadoop03使用命令开启进程

Hadoop配置JMX Hadoop配置jdk_xml文件_56

Hadoop配置JMX Hadoop配置jdk_xml文件_57

Hadoop配置JMX Hadoop配置jdk_hadoop_58

Hadoop配置JMX Hadoop配置jdk_修改文件_59

Hadoop配置JMX Hadoop配置jdk_修改文件_60

Hadoop配置JMX Hadoop配置jdk_xml文件_61

Hadoop配置JMX Hadoop配置jdk_hadoop_62

查看hadoop02进程状态

Hadoop配置JMX Hadoop配置jdk_修改文件_63

查看hadoop01的进程状态,发现只有namenode进程开启成功

Hadoop配置JMX Hadoop配置jdk_修改文件_64

查看hadoop03进程状态

Hadoop配置JMX Hadoop配置jdk_xml文件_65

突然发现是发送配置文件/etc/profile给hadoop02与hadoop03,重新发送

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_66

继续开启查看状态

Hadoop配置JMX Hadoop配置jdk_修改文件_67

Hadoop配置JMX Hadoop配置jdk_hadoop_68

Hadoop配置JMX Hadoop配置jdk_修改文件_69

不对,少了,修改

Hadoop配置JMX Hadoop配置jdk_hadoop_70

查看仍然不能开启

Hadoop配置JMX Hadoop配置jdk_修改文件_71

查看日志文件

Hadoop配置JMX Hadoop配置jdk_xml文件_72

修改jdk版本,这里已经将jdk1.8安装好,修改环境变量,定位到jdk8的目录(这里已经修改jdk1.8目录为jdk8,后面同样)

Hadoop配置JMX Hadoop配置jdk_xml文件_73

重启查看是否已改,显示成功

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_74

Hadoop配置JMX Hadoop配置jdk_修改文件_75

使用scp命令直接把解压好的jdk8目录发送给hadoop02、hadoop03,并且查看

Hadoop配置JMX Hadoop配置jdk_xml文件_76

Hadoop配置JMX Hadoop配置jdk_xml文件_77

重新尝试开启

Hadoop配置JMX Hadoop配置jdk_hadoop_78

Hadoop配置JMX Hadoop配置jdk_xml文件_79

Hadoop配置JMX Hadoop配置jdk_hadoop_80

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_81

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_82

进程不对

Hadoop配置JMX Hadoop配置jdk_修改文件_83

Hadoop配置JMX Hadoop配置jdk_xml文件_84

查看hadoop02状态

Hadoop配置JMX Hadoop配置jdk_hadoop_85

Hadoop01仍然不对

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_86

关闭防火墙

Hadoop配置JMX Hadoop配置jdk_修改文件_87

修改文件

Hadoop配置JMX Hadoop配置jdk_xml文件_88

查看日志

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_89

继续尝试开启

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_90

修改本机电脑windows的hosts文件

Hadoop配置JMX Hadoop配置jdk_hadoop_91

查看端口占用情况

Hadoop配置JMX Hadoop配置jdk_xml文件_92

查看防火墙状态

Hadoop配置JMX Hadoop配置jdk_修改文件_93

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_94

Hadoop配置JMX Hadoop配置jdk_hadoop_95

在windows浏览器查看状态,失败

Hadoop配置JMX Hadoop配置jdk_hadoop_96

换个浏览器,采用9870端口访问,尝试,成功

Hadoop配置JMX Hadoop配置jdk_hadoop_97

但是8088端口仍然不行

Hadoop配置JMX Hadoop配置jdk_修改文件_98

修改文件

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_99

Hadoop配置JMX Hadoop配置jdk_修改文件_100

继续尝试开启

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_101

开启报错

Hadoop配置JMX Hadoop配置jdk_hadoop_102

查看端口占用情况,发现没有命令lsof,下载安装

Hadoop配置JMX Hadoop配置jdk_xml文件_103

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_104

仍然不行,修改文件

Hadoop配置JMX Hadoop配置jdk_hadoop_105

Hadoop配置JMX Hadoop配置jdk_hadoop java启动参数_106

继续尝试,resourcemanager开启成功

Hadoop配置JMX Hadoop配置jdk_修改文件_107

在windows访问8088端口,成功

Hadoop配置JMX Hadoop配置jdk_修改文件_108

Hadoop配置JMX Hadoop配置jdk_修改文件_109