青云Spark集群创建详细教程

  • 总共分为六步
  • 第一步，创建QingMR集群
  • 1、在创建QingMR集群之前，首先需要创建**VPC网络和** 和**私有网络**
  • 2、私有网络创建只需要输入名称，点击提交即可；
  • 3、在AppCenter中创建QingMR集群
  • 第二步，创建QingStor对象存储
  • 第三步，QingMR集群为QingStor对象存储配置参数
  • 第四步，为QingMR集群通过VPC网络来配置VPN，利用OpenVPN软件连接访问集群的HDFS节点
  • 第五步，OpenVPN打开后，利用XShell软件通过ssh远程登录集群的Client节点
  • 第六步，QingMR集群Client节点命令


总共分为六步

        创建QingMR集群、创建QingStor对象存储、QingMR集群为QingStor对象存储配置参数、配置VPN访问HDFS、ssh远程登陆Client以及Ubuntu系统下Client节点的一些命令

第一步，创建QingMR集群

1、在创建QingMR集群之前，首先需要创建VPC网络和 和私有网络

安装两节点的hdfs_大数据


        VPC网络的创建只需输入名称，选择类型，然后点击创建即可。

安装两节点的hdfs_安装两节点的hdfs_02

VPC网络创建图


2、私有网络创建只需要输入名称，点击提交即可；

安装两节点的hdfs_spark_03


        在创建好的私有网络上右键选择添加到VPC网络，选择刚才创建好的VPC网络，这样就完成了VPC网络和私有网络的绑定。

3、在AppCenter中创建QingMR集群

        首先，在左侧的导航栏中找到大数据平台下的QingMR，点击创建后，在创建界面的第1步：基本设置中输入集群名称；

安装两节点的hdfs_hdfs_04


        然后，在集群创建界面的第2步：网络设置中选择刚才创建好的私有网络即可；

安装两节点的hdfs_安装两节点的hdfs_05


        最后，在第5步：用户协议上勾选同意协议，点击提交完成集群的创建。

安装两节点的hdfs_安装两节点的hdfs_06


        之后，可在AppCenter的管理下查看创建好的集群，小型的QingMR集群如下所示：

安装两节点的hdfs_hadoop_07

第二步，创建QingStor对象存储

        在左侧的存储下方的对象存储中点击创建Bucket，输入Bucket的名称，即可完成QingStor对象存储的创建；

安装两节点的hdfs_安装两节点的hdfs_08


        之后，在创建好的Bucket上可以选择新建文件夹，也可以将本地文件上传至对象存储。

安装两节点的hdfs_spark_09

第三步，QingMR集群为QingStor对象存储配置参数

        为了将QingStorm对象存储中的文件传输到集群的Client节点和HDFS节点，需要对集群做如下的配置：

        在集群的配置参数界面，将QingStor设为True,同时必须输入API秘钥才可生效（API秘钥可到账号一栏下方申请）

安装两节点的hdfs_hadoop_10

安装两节点的hdfs_hdfs_11

第四步，为QingMR集群通过VPC网络来配置VPN，利用OpenVPN软件连接访问集群的HDFS节点

        如果要想通过本地电脑利用VPN的方式来访问集群HDFS的webUI界面，需要申请一个公网ip，将公网ip右键绑定到VPC网络，然后打开集群绑定VPC网络的OpenVPN服务，添加账号后记得点击右上方的应用修改；

安装两节点的hdfs_hadoop_12


        申请公网ip界面

安装两节点的hdfs_安装两节点的hdfs_13


        对VPC网络详情中的管理配置下方的VPN网络打开OpenVPN服务，同时添加OpenVPN账号，以便后续通过本地安装的OpenVPN软件登录使用。（记得在防火墙中打开UDP下行的1194端口，同时将下载的解压后的Window证书放到OpenVPN软件安装目录下的config文件夹下）

        接下来，就可以通过本地OpenVPN软件来连接QingMR集群网络，访问HDFS节点的WebUI界面了。

安装两节点的hdfs_hadoop_14


        连接成功后，在浏览器下输入http://192.168.0.7:50070/即可访问集群HDFS节点（这里假设HDFS节点的IP为192.168.0.7，具体可以到集群界面查看）

安装两节点的hdfs_spark_15

第五步，OpenVPN打开后，利用XShell软件通过ssh远程登录集群的Client节点

        由于ssh默认都通过22端口来连接Client节点，所以需要在青云的防火墙上打开TCP下行22端口，才能通过XShell软件利用ssh远程登陆集群的Client节点。
另外，还需要在青云集群中登陆Client节点后开启ssh服务，需要输入如下命令：

输入vim /etc/ssh/sshd_config 回车后
将PermitRootLogin那一项的值改为yes,然后按ESC键再输入 :wq即可生效
再输入service ssh restart 来重启ssh服务

        然后打开XShell软件，新建会话，输入集群Client节点的ip和用户名、密码

安装两节点的hdfs_spark_16


安装两节点的hdfs_安装两节点的hdfs_17


        最后，点击连接就可登陆到Client节点成功，如下图所示。

安装两节点的hdfs_大数据_18

第六步，QingMR集群Client节点命令

//首先将青云对象存储QingStor上的文件传输到Client节点上并查看，输入如下命令：
cd /opt/hadoop
bin/hdfs dfs –get (青云分区名称)://mybucket/myfile
ls
//下面需要将Client节点上hadoop下的myfile文件夹传输到HDFS节点上，并确认传输后HDFS节点上是否有了myfile文件：
Cd /opt/hadoop
bin/hdfs dfs –put /opt/hadoop/myfile /
bin/hdfs dfs –ls /myfile
//复制文件命令
cp /opt/hadoop/myfile /opt/spark/myfilefuben