我们创建了三台虚拟机,不同的机器有不同的角色,我们需要做一个部署规划

Hadoop集群分析动漫推荐数据库_hadoop

 

 

 hdfs系统分配:101是namenode,接收客户端请求,保存元数据,当然了,这台机器空闲资源的时候,也可以做一些计算存储,给他分配一个datanode的角色。102数据主要用来存储数据内容存储数据块,同时存储block的元数据信息文件。我们同时给他分配一个secondaryName的角色,帮助namenode整理元数据信息。103分配一个datanode角色;

yarn:102机器负责这个集群资源调度和管理。其他的nodeManager会通过心跳协议向ResourceManager汇报所在节点的资源使用情况。

  现在三台机器已经配置好了免密码登录,其中101机器已经安装好了Hadoop,由于在同一个集群中,我们只要在101上面把配置文件修改好,然后分发给其他两个就行。

1,打开101虚拟机,修改101配置文件。

进入到Hadoop目录下:/opt/module/hadoop-2.8.4/etc/hadoop

输入命令:vim core-site.xml,修改配置文件如下:

Hadoop集群分析动漫推荐数据库_xml_02

 

 

 2,输入命令:vim hdfs-site.xml,修改配置文件如下

Hadoop集群分析动漫推荐数据库_xml_03

 

 

 3,输入命令:vim yarn-site.xml 修改配置文件如下:

Hadoop集群分析动漫推荐数据库_xml_04

 

 

 4,输入命令:vim mapred-site.xml ,修改配置文件如下:

Hadoop集群分析动漫推荐数据库_xml_05

 

 

 5,输入命令:vim slaves ,设置从节点

bigdata101
bigdata102
bigdata103

保存退出。

6,配置文件已经修改完了,现在要把这些修改好的配置文件分发到另外两个节点上面。使用scp命令。(需要设置好免密码登录)

在hadoop目录下输入以下命令:

scp-r slaves bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop(这个时候去102节点上查看slaves文件就会发现102上的文件已经被改动了)

scp-r core-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r hdfs-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r yarn-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r mapred-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop

总共五个配置文件全部同步到102机器了,现在重复以上五个命令,把配置文件同步到103机器:

scp-r slaves bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r core-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r hdfs-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r yarn-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop

scp-r mapred-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop

7,现在重新格式化集群(格式化要注意,不要格式化多次,格式化过一次以后会有一些历史文件),我们这里因为之前格式化过一次单节点的集群,现在要把这个data文件删除。其他两个节点(102,103也要做这个操作)

Hadoop集群分析动漫推荐数据库_Hadoop集群分析动漫推荐数据库_06

 

 

 8,输入命令(在namenode节点,也就是101机器):hdfs namenode -format

9,启动集群:

在101输入命令:start-all.sh(或者start-dfs.sh)

在102输入命令:start-yarn.sh

10,打开浏览器,输入地址:http://192.168.53.101:50070/,可以看到如下界面:

Hadoop集群分析动漫推荐数据库_hadoop_07

 

 说明这里hdfs已经配置好了。

11,在浏览器输入:http://192.168.53.102:8088/

Hadoop集群分析动漫推荐数据库_xml_08

 

 看见这个页面,说明yarn也配置好了。

  到这里一个屌丝版本的分布式集群就搭建好了。爱学习的同学可以开始学习hadoop了。