前言：
本文章主要是基于linux环境下（已完成IP，主机名设置，网络设置以及关闭了防火墙和jdk配置）搭建分布式集群（3台虚拟机ip），主要讲述zookeeper集群安装部署和kafka安装部署以及在安装期间的一些注意事项。
三台虚拟机的主机ip及主机名
192.168.244.**1 | master |
192.168.244.**2 | hadoop02 |
192.168.244.**3 | hadoop03 |
二.目录：
三、正文
一、zookeeper·3.5.7的安装及部署
1.zookeeper3.5.7的下载
2.zookeeper3.5.7的安装
3.zookeeper3.5.7分布式部署
4.测试启动zookeeper
5.注意事项
二、kafka2.1.2-2.4.1的安装部署
1.kafka2.12-3.4.1的下载链接
2.kafka2.1.2-2.4.1的安装
3.kafka2.1.2-2.4.1分布式部署
编辑 4.测试启动 kafka
5.注意事项
三、正文
一、zookeeper·3.5.7的安装及部署
1.zookeeper3.5.7的下载
链接https://repo.huaweicloud.com/apache/zookeeper/zookeeper-3.5.7/
2.zookeeper3.5.7的安装
#下载zookeeper安装包后利用xftp将安装包移动到你的虚拟机的指定目录下
#在虚拟机进入指定目录使用以下命令进行解压
tar -zxvf /export/software/apache-zookeeper-3.5.7-bin.tar.gz /export/server/3.zookeeper3.5.7分布式部署
#在zookeeper目录下创建zkdata目录，zkdata目录下在创建一个data目录和log目录用于存储数据的和日志
mkdir -p /export/software/apache-zookeeper-3.5.7-bin/zkdata/data
mkdir -p /export/software/apache-zookeeper-3.5.7-bin/zkdata/log
#在data目录下创建myid文件
vim myid #在myid文件中写入1，后续配置conf文件用到
#进入zookeeper目录下的conf目录
cd /export/software/apache-zookeeper-3.5.7-bin/conf
#将 zoo_sample.cfg 文件拷贝一份命名为 zoo.cfg 是为了备份原始配置文件，以便在需要时可以恢复它。如果您不备份原始配置文件，那么在更改配置文件时可能会出现问题，从而导致ZooKeeper无法启动或运行
cp zoo_sample.cfg zoo.cfg
进入zookeeper目录下的conf目录下配置zoo.cfg文件（配置文件不熟练的尽量手敲，不要出现不必要的空格，导致集群的运行失败）
vim zoo.cfg
#主要修改以下这些地方
#数据存储路径
dataDir=/export/software/apache-zookeeper-3.5.7-bin/zkdata/data
#日志存储路径
dataLogDir=/export/software/apache-zookeeper-3.5.7-bin/zkdata/log
#这些配置是ZooKeeper集群的配置，用于指定ZooKeeper集群中的节点。其中，server.1、server.2和server.3是节点的名称，master、slave1和slave2是节点的IP地址或主机名。2888和3888是ZooKeeper使用的端口号。其中server.x的数字就是myid里面的数字
#server.x=主机名或者ip:2888:3888
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888配置环境变量
export ZK_HOME=/export/servers/apache-zookeeper-3.5.7-bin
export PATH=$PATH:$ZK_HOME/bin分发zookeeper和环境变量到hadoop02，hadoop03
scp -r /etc/profile hadoop02:/etc/
scp -r /etc/profile hadoop03:/etc/
#分别在hadoop02，hadoop03虚拟机执行 source /etc/profile 使环境变量生效
scp -r /export/servers/apache-zookeeper-3.5.7-bin hadoop02:/export/servers/
scp -r /export/servers/apache-zookeeper-3.5.7-bin hadoop03:/export/servers/分发完成后，修改hadoop02，hadoop03下的zookeeper目录下的zkdata/data的myid文件
#hadoop02
vi /export/software/apache-zookeeper-3.5.7-bin/zkdata/data/myid
#将master分发过来的1修改为2
#hadoop03
vi /export/software/apache-zookeeper-3.5.7-bin/zkdata/data/myid
#将master分发过来的1修改为34.测试启动zookeeper
#分别在master，hadoop02，hadoop03启动zookeeper，
#往后可设置脚本来启动来提高效率
start
#启动后执行以下命令查看进程和状态
#进程（三台虚拟机都要执行）
jps
#状态:查看选举状态（三台虚拟机都要执行）
status
5.注意事项
如果查看zookeeper状态时出现以下情况，表示zookeeper没有启动成功
1.要关闭linux系统防火墙
//停止firewalld防火墙
systemctl stop firewalld
//disable防火墙，让它开机不自启
systemctl disable firewalld
//查看firewalld是否已经关闭（active（running））显示防火墙处于激活状态（inactive（dead））防火墙进程处于未激活状态
systemctl status firewalld查看三台虚拟机是否zookeeper进程都存在，只有三台虚拟机的zookeeper都启动了才会进行选举
3.检查每台虚拟机的myid是否正确
4.检查zoo.cfg是否配置好
二、kafka2.1.2-2.4.1的安装部署
1.kafka2.12-3.4.1的下载链接
https://mirrors.huaweicloud.com/apache/kafka/3.4.1/kafka_2.12-3.4.1.tgz
2.kafka2.1.2-2.4.1的安装
#下载kafka安装包后将安装包移动到你的虚拟机的指定目录下
#在虚拟机进入指定目录使用以下命令进行解压
tar -zxvf /export/software/kafka_2.12-3.4.1.tgz /export/server/3.kafka2.1.2-2.4.1分布式部署
进入/export/servers/kafka_2.12-3.4.1/config下 vim server.properties（修改配置）
修改以下配置信息
#设置日志存储路径，无需提前创建文件夹，系统会自行创建
log.dirs=/export/servers/kafka_2.12-3.4.1/log
#设置环境变量
export KAFKA_HOME=/export/servers/kafka_2.12-3.4.1
export PATH=$PATH:$KAFKA_HOME/bin
分发kafka到Hadoop02，hadoop03
scp -r /export/servers/kafka_2.12-3.4.1 haoop02:/export/servers/
scp -r /export/servers/kafka_2.12-3.4.1 haoop03:/export/servers/
#分发环境变量
scp -r /etc/profile hadoop02:/etc/
scp -r /etc/profile hadoop03:/etc/
#分别在hadoop02，hadoop03虚拟机执行 source /etc/profile 使环境变量生效hadoop02：进入/export/servers/kafka_2.12-3.4.1/config下 vim server.properties（修改配置）
hadoop03： 进入/export/servers/kafka_2.12-3.4.1/config下 vim server.properties（修改配置）
4.测试启动 kafka
cd /export/servers/kafka_2.12-3.4.1/
#前台启动（三台虚拟机都要执行，后期可编写脚本提高效率），再开一个终端
bin/ config/server.properties
#或者选用后台启动
bin/ -daemon config/server.properties
执行./进入zookeeper终端，ls命令查看节点是否启动成功
创建主题和查看主题
cd /export/servers/kafka_2.12-3.4.1/
#创建一个主题
bin/kafka-topics.sh --bootstrap-server 192.168.244.131:9092 --create --partitions 1 --replication-factor 3 --topic test
#查看已有主题
bin/kafka-topics.sh --bootstrap-server 192.168.244.131:9092 --list5.注意事项
如果kafka集群启动不成功
1.查看三台虚拟机zookeeper是否启动成功，是否有进行选举
2.查看kafka/config目录下的server.properties相关配置是否正确
3.如果采用前台启动，需重开一个终端进行操作（程序会卡住，其实是前台启动的正常现象，在新终端操作，它才有消息输出，因为它把日志展示在终端了）
