我们创建了三台虚拟机,不同的机器有不同的角色,我们需要做一个部署规划
hdfs系统分配:101是namenode,接收客户端请求,保存元数据,当然了,这台机器空闲资源的时候,也可以做一些计算存储,给他分配一个datanode的角色。102数据主要用来存储数据内容存储数据块,同时存储block的元数据信息文件。我们同时给他分配一个secondaryName的角色,帮助namenode整理元数据信息。103分配一个datanode角色;
yarn:102机器负责这个集群资源调度和管理。其他的nodeManager会通过心跳协议向ResourceManager汇报所在节点的资源使用情况。
现在三台机器已经配置好了免密码登录,其中101机器已经安装好了Hadoop,由于在同一个集群中,我们只要在101上面把配置文件修改好,然后分发给其他两个就行。
1,打开101虚拟机,修改101配置文件。
进入到Hadoop目录下:/opt/module/hadoop-2.8.4/etc/hadoop
输入命令:vim core-site.xml,修改配置文件如下:
2,输入命令:vim hdfs-site.xml,修改配置文件如下
3,输入命令:vim yarn-site.xml 修改配置文件如下:
4,输入命令:vim mapred-site.xml ,修改配置文件如下:
5,输入命令:vim slaves ,设置从节点
bigdata101
bigdata102
bigdata103
保存退出。
6,配置文件已经修改完了,现在要把这些修改好的配置文件分发到另外两个节点上面。使用scp命令。(需要设置好免密码登录)
在hadoop目录下输入以下命令:
scp-r slaves bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop(这个时候去102节点上查看slaves文件就会发现102上的文件已经被改动了)
scp-r core-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r hdfs-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r yarn-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r mapred-site.xml bigdata102:/opt/module/hadoop-2.8.4/etc/hadoop
总共五个配置文件全部同步到102机器了,现在重复以上五个命令,把配置文件同步到103机器:
scp-r slaves bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r core-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r hdfs-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r yarn-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop
scp-r mapred-site.xml bigdata103:/opt/module/hadoop-2.8.4/etc/hadoop
7,现在重新格式化集群(格式化要注意,不要格式化多次,格式化过一次以后会有一些历史文件),我们这里因为之前格式化过一次单节点的集群,现在要把这个data文件删除。其他两个节点(102,103也要做这个操作)
8,输入命令(在namenode节点,也就是101机器):hdfs namenode -format
9,启动集群:
在101输入命令:start-all.sh(或者start-dfs.sh)
在102输入命令:start-yarn.sh
10,打开浏览器,输入地址:http://192.168.53.101:50070/,可以看到如下界面:
说明这里hdfs已经配置好了。
11,在浏览器输入:http://192.168.53.102:8088/
看见这个页面,说明yarn也配置好了。
到这里一个屌丝版本的分布式集群就搭建好了。爱学习的同学可以开始学习hadoop了。