1 部署配置
1.1 集群配置
1.1.1 硬件配置
cpu：Intel（R） Xeon（R） CPU E5-
2686 v4 @ 2.30GHz ；Mem ：64GB；Disk：1 * 30GB SSD
1 * 500GB HDD
1.1.2 操作系统
Red Hat Enterprise Linux Server release 6.7（Santiago）
1.2 系统配置
（1）禁用防火墙；
（2）禁用SELinux；
（3）禁用THP；
（4）禁用Swap。
1.3 外部软件和服务
（1）配置 Mysql 数据库。我们使用AWS RDS作为外部数据库服务。数据库类型是MySQL5.5。由于RDS本身具有HA功能，所以没有额外的步骤来配置HA。
（2）配置必要的数据库。为相关的CDH组件编写数据库。这些数据库需要UTF-8支持。
（3）配置本地yum源。
1.4 CDH部署
1.4.1 角色安排
如表1所示。
1.4.2 安装Cloudera Manager
在edgenode001，执行如下指令：
# yum install oracle-j2sdk1.7
# yum install cloudera-manager-daemons cloudera-manager-server
#/usr/share/cmf/schema/scm_prepare_database.sh -h USERNAME>
# service cloudera-scm-server start
1.4.3 部署CDH集群
（1）我们可以访问Cloudera Manager 网站http：//（yourip）：7180按照网站导航即可安装完成；username，password均为admin。
（2）启用Navigator 数据管理仪表板。
Cloudera Navigator数据管理仪表板能够捕捉到的各种数据，元数据信息，用户的工作和数据处理。
（3）HA 部署。
1.HDFS HA 部署
2.YARN HA部署
2 实验过程
2.1 kerberos服务
（1）安装kerberos相关安装包在master节点，编辑相关配置文件：kdc.conf，kadm5.ac，；krb5.conf；初始化KDC数据库：kdb5_util create -s；开启KDC服务和kadmin守护进程。
（2） kerberos HA 部署。Kerberos的设计目的是允许主/从复制集群。虽然Kerberos集群可以由任意数量的主机组成，但建议您至少有两个主机。master作�橹鞣�务器和至少一个slave作为master的主备份。主服务器和从服务器可以分别被认为是主服务器和辅助服务。
Kerberos客户机应用程序设计用于在主服务器关闭时尝试通过辅助服务器进行身份验证。因此，在系统故障未能通过Kerberos身份验证服务到备份服务器时，您不需要做任何额外的工作。但是Kerberos的管理特性不提供自动故障转移。
（3）Kerberos与Cloudera Manager整合。部署kerberos客户端在每台节点上，通过Cloudera Manager控制台完成操作向导。
2.2 OpenLADP服务
（1）安装openldap相关安装包；编辑相关配置文件。
（2）OpenLADP与Hue整合。
（3）OpenLADP与Cloudera Manager整合。 （4）OpenLADP与Cloudera Navigator整合。
（5）OpenLADP HA 部署。
OpenLDAP HA通�^LDAP同步复制的实现。除了先前配置的LDAP服务器，它还需要另一个LDAP服务器节点。
2.3 集群加密服务
（1）为Cloudera Manager配置TLS加密服务。
获得用于Cloudera Manager TLS / SSL证书。
（2）ClouderaManager管理控制台启用HTTPS指定服务器密钥存储属性，指定ClouderaManager服务的SSL信任库特性。
（3）为Cloudera Manager Agents配置TLS加密。
通过配置使Agents使用TLS[5]连接到Cloudera Manager. 确保Cloudera Manager Agents主机能够验证服务器的证书和配置群集验证Agents的证书。
（4）配置CDH服务的加密服务。
为HDFS，YARN和MAPREDUCE配置TLS/SSL；配置HiveServer2和客户端驱动之间加密通信；为Cloudera Navigator数据管理配置TLS / SSL；为Oozie配置TLS/SSL；为Hue配置TLS/SSL；Spark加密。
3 结论
本文对企业生产环境下部署的大数据处理集群全过程进行了分析，得出以下结论：
（1）使用aws可以根据实际生产情况，随时调整机器配置灵活性强。
（2）使用CDH大数据处理平台，功能齐全，稳定。
（3）kerberos通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务。
（4）LDAP作为一个统一认证的解决方案，使得对系统中用户的管理更加快捷高效。
（5）使用TLS/SSL实现应用之间以及客户端和服务器之间的保密和安全通讯。
（6）对hdfs进行加密使得企业数据的安全性得到了进一步加强。
