建议先尝试单机安装,之后再往主节点添加新的节点

 

1.安装并配置ssh

几个需要提前安装的软件(不一定要全部都装,有就装,不存在的包,可以不装)


sudo apt-get install psmisc
 sudo apt-get install libxslt
 sudo apt-get install screen
 sudo apt-get install telnet

 


首先是安装ssh


sudo apt install openssh-server
 sudo apt install openssh-client

 


配置ssh

修改/etc/ssh/ssh_config配置文件中的以下选项(所有节点):


sudo gedit /etc/ssh/ssh_config

 将 PasswordAuthentication yes 前的#去掉

 


修改/etc/ssh/sshd_config配置文件中的以下选项(所有节点):


gedit /etc/ssh/sshd_config

 2 ~~~~~~~~查找并修改~~~~~~~~
 3 PermitRootLogin yes
 4 PasswordAuthentication yes
 5 ~~~~~~~~查找并修改~~~~~~~~

 


在本地测试链接:


ssh moonknight@10.26.233.92(本机用户名@ip地址)

 


ssh这里的基础配置这样就完成了,进一步的免密登录可以由CDH直接完成,包括ntp服务也是这样。

 

2. 修改主机名和相关的映射关系

 

修改主机名和ip地址的映射关系


sudo gedit /etc/hosts

示例如下图所示:


cdh是什么意思 hbase cdh hadoop_cloudera

注意:各节点的/etc/hosts的内容需要一致

 

更改主机名

初始的主机名是ubuntu,建议改为规范的主机名,例如“ubuntu-master”


sudo gedit /etc/hostname

 


 

3.防火墙设置

ubuntu上没有相关的管理工具,需要先安装管理工具ufw


sudo apt-get install ufw

 


安装完成后临时关闭防火墙,这是为之后配置集群做准备


 

ufw disable

 


重启(reboot)系统后生效


sudo reboot

 


4.安装MySql(主节点)

cdh是什么意思 hbase cdh hadoop_h5_02

注意:安装mysql的时候要设置密码(系统会自动弹出窗口让你设置密码,要输两遍来确认密码)

 

 

5.配置相关的数据库(主节点)

进入mysql命令界面(mqsql -uroot -p),之后会提示你输入密码

cdh是什么意思 hbase cdh hadoop_主机名_03

 

 

数据库命名建议:

 

cdh是什么意思 hbase cdh hadoop_主机名_04

 

 

6.cloudera安装

 

创建Cloudera SCM账户


sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 


安装相关配置

这里的安装属于离线安装

首先将已经下载好的四份文件放入/opt目录下,上传cloudera-manager-el6-cm5.14.0_x86_64.tar.gz到/opt并解压。

创建/opt/cloudera-manager目录


sudo mkdir /opt/module/cloudera-manager

 sudo tar -zxvf /opt/software/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/cloudera-manager/

 


创建/opt/cloudera目录,并创建其子目录/opt/cloudera/parcel-repo/


sudo mkdir /opt/cloudera
  sudo mkdir /opt/cloudera/parcel-repo/

将CDH-5.14.0-1.cdh5.14.0.p0.3-xenial.parcel

CDH-5.14.0-1.cdh5.14.0.p0.5-xenial.parcel.sha1

manifest.json三个文件放入其中

 

注意:CDH-5.14.0-1.cdh5.14.0.p0.5-xenial.parcel.sha1,改为CDH-5.14.0-1.cdh5.14.0.p0.5-xenial.parcel.sha(后缀改为sha)

 


补充:

cdh是什么意思 hbase cdh hadoop_h5_05

 

 

cdh是什么意思 hbase cdh hadoop_h5_06

 

 

Agent配置(也包括主节点)


sudo /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini

 


修改其中的server_host为主节点的主机名(我的主机名是moonknight)。

同步Agent到其他节点

 

初始化脚本配置数据库scm_prepare_database.sh

cdh是什么意思 hbase cdh hadoop_cloudera_07

 

接下来,输入如下命令:

/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -h你的主机名 -uroot -p123456 --scm-host 你的主机名 scm scm scm


 


 

以下是对各参数的解释

cdh是什么意思 hbase cdh hadoop_h5_08

 

cdh是什么意思 hbase cdh hadoop_主机名_09

 

最后一步

此时安装已经初步完成,现在启动服务 通过以下命令启动服务端(主机节点)


sudo /opt/cm-5.14.0/etc/init.d/cloudera-scm-server start

 


通过以下命令启动客户端


sudo /opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

 


打开浏览器

登录:http://主机ip:7180,即可在浏览器开始CDH安装(备注:登录名和密码默认都是admin)

 

注意:

如果中途安装失败,请重置数据库(删除数据库,再重新生成)

 

安装出现问题,先看日志:

/opt/cloudera-manager/cm-5.14.0/var/log/cloudera-scm-server/cloudera-scm-server.log

确定问题类型,直接上网搜就有相应的答案