建议先尝试单机安装,之后再往主节点添加新的节点
1.安装并配置ssh
几个需要提前安装的软件(不一定要全部都装,有就装,不存在的包,可以不装)
sudo apt-get install psmisc
sudo apt-get install libxslt
sudo apt-get install screen
sudo apt-get install telnet
首先是安装ssh
sudo apt install openssh-server
sudo apt install openssh-client
配置ssh
修改/etc/ssh/ssh_config配置文件中的以下选项(所有节点):
sudo gedit /etc/ssh/ssh_config
将 PasswordAuthentication yes 前的#去掉
修改/etc/ssh/sshd_config配置文件中的以下选项(所有节点):
gedit /etc/ssh/sshd_config
2 ~~~~~~~~查找并修改~~~~~~~~
3 PermitRootLogin yes
4 PasswordAuthentication yes
5 ~~~~~~~~查找并修改~~~~~~~~
在本地测试链接:
ssh moonknight@10.26.233.92(本机用户名@ip地址)
ssh这里的基础配置这样就完成了,进一步的免密登录可以由CDH直接完成,包括ntp服务也是这样。
2. 修改主机名和相关的映射关系
修改主机名和ip地址的映射关系
sudo gedit /etc/hosts
示例如下图所示:
注意:各节点的/etc/hosts的内容需要一致
更改主机名
初始的主机名是ubuntu,建议改为规范的主机名,例如“ubuntu-master”
sudo gedit /etc/hostname
3.防火墙设置
ubuntu上没有相关的管理工具,需要先安装管理工具ufw
sudo apt-get install ufw
安装完成后临时关闭防火墙,这是为之后配置集群做准备
ufw disable
重启(reboot)系统后生效
sudo reboot
4.安装MySql(主节点)
注意:安装mysql的时候要设置密码(系统会自动弹出窗口让你设置密码,要输两遍来确认密码)
5.配置相关的数据库(主节点)
进入mysql命令界面(mqsql -uroot -p),之后会提示你输入密码
数据库命名建议:
6.cloudera安装
创建Cloudera SCM账户
sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
安装相关配置
这里的安装属于离线安装
首先将已经下载好的四份文件放入/opt目录下,上传cloudera-manager-el6-cm5.14.0_x86_64.tar.gz到/opt并解压。
创建/opt/cloudera-manager目录
sudo mkdir /opt/module/cloudera-manager
sudo tar -zxvf /opt/software/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/cloudera-manager/
创建/opt/cloudera目录,并创建其子目录/opt/cloudera/parcel-repo/
sudo mkdir /opt/cloudera
sudo mkdir /opt/cloudera/parcel-repo/
将CDH-5.14.0-1.cdh5.14.0.p0.3-xenial.parcel
CDH-5.14.0-1.cdh5.14.0.p0.5-xenial.parcel.sha1
manifest.json三个文件放入其中
注意:CDH-5.14.0-1.cdh5.14.0.p0.5-xenial.parcel.sha1,改为CDH-5.14.0-1.cdh5.14.0.p0.5-xenial.parcel.sha(后缀改为sha)
补充:
Agent配置(也包括主节点)
sudo /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini
修改其中的server_host为主节点的主机名(我的主机名是moonknight)。
同步Agent到其他节点
初始化脚本配置数据库scm_prepare_database.sh
接下来,输入如下命令:
/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -h你的主机名 -uroot -p123456 --scm-host 你的主机名 scm scm scm
以下是对各参数的解释
最后一步
此时安装已经初步完成,现在启动服务 通过以下命令启动服务端(主机节点)
sudo /opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
通过以下命令启动客户端
sudo /opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
打开浏览器
登录:http://主机ip:7180,即可在浏览器开始CDH安装(备注:登录名和密码默认都是admin)
注意:
如果中途安装失败,请重置数据库(删除数据库,再重新生成)
安装出现问题,先看日志:
/opt/cloudera-manager/cm-5.14.0/var/log/cloudera-scm-server/cloudera-scm-server.log
确定问题类型,直接上网搜就有相应的答案