使用DaoCloud部署Hadoop2.7.2分布式集群

此博客紧接上一篇博客Ubuntu16.04安装DCE2.6(开发者版本) ,想要使用DaoCloud部署Hadoop2.7.2分布式集群,可以先参考Ubuntu16.04安装DCE2.6(开发者版本),配置好DaoCloud。

  • **1. 点击网络--> 创建 ,提前创建好新的集群的网络 **

官方文档:创建网络 自己创建了一个名为hadoop的网络:

DB2 集群和实例关系 db2集群部署方式_DB2 集群和实例关系

  • **2. 使用一键部署功能,实现Hadoop2.7.2集群部署 **

官方文档: 应用部署 ,以及 一键部署

① 点击应用--> 部署应用,在弹出的窗口中选择一键部署,点击继续

DB2 集群和实例关系 db2集群部署方式_hadoop_02

② 在搜索框中输入hadoop,出现四个应用模板,选择hadoop-cluster 模板。

DB2 集群和实例关系 db2集群部署方式_分布式集群_03

③ 完善应用信息,设置应用名称为hadoop-cluster0 ,bd0网络选择刚刚创建的hadoop 网络。

DB2 集群和实例关系 db2集群部署方式_docker_04

④ 通过步骤③ ,将会生成一张可视化编排图。

DB2 集群和实例关系 db2集群部署方式_DB2 集群和实例关系_05

⑤ 点击检查镜像并部署,最终Hadoop2.7.2分布式集群部署成功!在应用中,可以通过应用名称hadoop-cluster0,查看具体信息。

DB2 集群和实例关系 db2集群部署方式_DB2 集群和实例关系_06

① 开放datanode的相应端口

通过查看默认端口,这里决定配置两个端口:

节点

默认端口

配置

用途说明

DataNode

50010

dfs.datanode.address

datanode服务端口,用于数据传输

DataNode

50075

dfs.datanode.http.address

http服务的端口

点击hadoop-cluster_datanode-->侧滑框中的“配置”-->网络-->添加容器端口 ,根据上表为datanode添加相应的端口。

DB2 集群和实例关系 db2集群部署方式_Ubuntu_07

其中50075端口,是可以通过浏览器访问的端口。关闭侧滑框,可以看到hadoop-cluster_datanode 下方有两个端口映射,点击50075那个端口映射,可以看到访问该端口的路径

DB2 集群和实例关系 db2集群部署方式_Ubuntu_08


点击http://192.168.202.31:50075/,可以通过浏览器访问位于192.168.202.31主机上的datanode节点:

DB2 集群和实例关系 db2集群部署方式_Ubuntu_09

② 开放namenode的相应端口

通过查看默认端口,这里决定配置两个端口:

节点

默认端口

配置

用途说明

NameNode

50070

dfs.namenode.http-address

http服务的端口

NameNode

8020

fs.defaultFS

接收Client连接的RPC端口,用于获取文件系统metadata信息。

配置方法同datanode,不再一一叙述!

③ 开放ResourceManager的相应端口

节点

默认端口

配置

用途说明

ResourceManager

8088

yarn.resourcemanager.webapp.address

http服务的端口

④ 开放ResourceManager的相应端口

节点

默认端口

配置

用途说明

NodeManager

8042

yarn.nodemanager.webapp.address

http服务端口