使用DaoCloud部署Hadoop2.7.2分布式集群
此博客紧接上一篇博客Ubuntu16.04安装DCE2.6(开发者版本) ,想要使用DaoCloud部署Hadoop2.7.2分布式集群,可以先参考Ubuntu16.04安装DCE2.6(开发者版本)
,配置好DaoCloud。
- **1. 点击
网络--> 创建
,提前创建好新的集群的网络 **
官方文档:创建网络 自己创建了一个名为hadoop
的网络:
- **2. 使用
一键部署
功能,实现Hadoop2.7.2集群部署 **
① 点击应用--> 部署应用
,在弹出的窗口中选择一键部署
,点击继续
。
② 在搜索框中输入hadoop
,出现四个应用模板,选择hadoop-cluster
模板。
③ 完善应用信息,设置应用名称为hadoop-cluster0
,bd0网络选择刚刚创建的hadoop
网络。
④ 通过步骤③ ,将会生成一张可视化编排图。
⑤ 点击检查镜像并部署
,最终Hadoop2.7.2分布式集群部署成功!在应用中,可以通过应用名称hadoop-cluster0
,查看具体信息。
- **3. 为namenode、datanode等开放相应端口 **
新搭建的Hadoop集群中,共有四种节点:namenode、datanode、nodemanager、resourcemanager,需要为这些节点开放Hadoop集群默认的端口。
Hadoop2.x的常用默认端口,可以参考:hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
① 开放datanode的相应端口
通过查看默认端口,这里决定配置两个端口:
节点 | 默认端口 | 配置 | 用途说明 |
DataNode | 50010 | dfs.datanode.address | datanode服务端口,用于数据传输 |
DataNode | 50075 | dfs.datanode.http.address | http服务的端口 |
点击hadoop-cluster_datanode-->侧滑框中的“配置”-->网络-->添加容器端口
,根据上表为datanode添加相应的端口。
其中50075端口,是可以通过浏览器访问的端口。关闭侧滑框
,可以看到hadoop-cluster_datanode
下方有两个端口映射,点击50075
那个端口映射,可以看到访问该端口的路径
:
点击http://192.168.202.31:50075/,可以通过浏览器访问位于192.168.202.31
主机上的datanode节点:
② 开放namenode的相应端口
通过查看默认端口,这里决定配置两个端口:
节点 | 默认端口 | 配置 | 用途说明 |
NameNode | 50070 | dfs.namenode.http-address | http服务的端口 |
NameNode | 8020 | fs.defaultFS | 接收Client连接的RPC端口,用于获取文件系统metadata信息。 |
配置方法同datanode,不再一一叙述!
③ 开放ResourceManager的相应端口
节点 | 默认端口 | 配置 | 用途说明 |
ResourceManager | 8088 | yarn.resourcemanager.webapp.address | http服务的端口 |
④ 开放ResourceManager的相应端口
节点 | 默认端口 | 配置 | 用途说明 |
NodeManager | 8042 | yarn.nodemanager.webapp.address | http服务端口 |