docker-compose kafka单节点安装 kafka单机集群搭建

kafka搭建(单机+集群)

一、单机环境搭建

1.1 前置条件

版本： kafka_2.12-2.8.1

依赖： 1.依赖jdk, 2.依赖zookeeper

1.2 步骤

1. 进入opt目录

cd /opt

2. 通过命令下载安装包

wget https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.1/kafka_2.11-1.1.1.tgz

如果通过命令下载失败，可以先从浏览器下载安装包，然后再上传到服务器上面。

3. 解压

tar -zxvf kafka_2.12-2.8.1.tgz

4. 修改配置文件

首先在kafka目录下创建logs目录

mkdir logs

# 修改以下配置
# 1.broker.id : 配置的是集群环境，要求每台kafka都有唯一的brokerid
# 2.log.dir : 数据存放的目录
# 3.zookeeper.connect : zookeeper连接池地址信息(zookeeper集群)
# 4.delete.topic.enable : 是否直接删除topic
# 5.host.name : 主机名称
# 6.listeners=PLAINTEXT://server1:9092

vim /opt/kafka_2.12-2.8.1/config/server.properties
# 修改以下内容
broker.id=1
listeners=PLAINTEXT://server1:9092
log.dirs=/opt/kafka_2.12-2.8.1/logs
zookeeper.connect=server1:2181,server2:2181,server3:2181
# 文件尾部添加以下内容
delete.topic.enable=true
host.name=server1
# 退出并保存

5. 启动

cd /opt/kafka_2.12-2.8.1/bin
# 以后台方式启动
./kafka-server-start.sh -daemon ../config/server.properties

6. 停止

./kafka-server.stop.sh

二、集群环境搭建

2.1 前置条件

三台 Linux 服务器

192.168.180.196
192.168.180.197
192.168.180.198

2.2 步骤

1. 按照上述 1.2 步骤 的 1-4步，依次在 197 和 198 两台服务器上分别安装 kafka
2. 修改配置文件

192.168.180.197服务器修改：

# 修改以下内容
borker.id=2
listeners=PLAINTEXT://192.168.180.197:9092
host.name=192.168.180.197

192.168.180.198服务器修改：

broker.id=3
listeners=PLAINTEXT://192.168.180.198:9092
host.name=192.168.180.198

3. 分别启动三台服务器上的kafka

./kafka-server-start.sh -daemon ../config/server.properties

至此，kafka集群环境搭建成功！

2.3 测试部署结果

登录zookeeper 客户端，查看/brokers/ids

cd /opt/zookeeper/bin
./zkCli.sh
# 查询结果如下：
[zk: localhost:2181(CONNECTED) 0] ls /brokers/ids
[1, 2, 3]
[zk: localhost:2181(CONNECTED) 1] quit
Quitting...
2022-04-06 14:11:55,765 [myid:] - INFO  [main:ZooKeeper@687] - Session: 0x3004eef6fed0004 closed
2022-04-06 14:11:55,766 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@520] - EventThread shut down for session: 0x3004eef6fed0004