淘东电商项目（49） -ELK+Kafka分布式日志收集（docker下搭建kafka）

引言

本文代码已提交至Github，有兴趣的同学可以下载来看看：​​https://github.com/ylw-github/taodong-shop​​

在上一篇博客​​《淘东电商项目（48） -ELK+Kafka分布式日志收集（原理篇）》​​

讲解了使用​ELK+Kafka​在分布式环境下收集日志的原理。之前已经搭建好了ELK了，在本文将讲解基于​​Dokcer​​搭建​​Kafka​​，当然，搭建Kafka环境之前，需要搭建​​Zookeeper​​。

本文目录结构：

​​l____引言​​

​​l____ 1. 安装前须知 ​​

​​l____ 2. Zookeeper的安装 ​​

​​l____ 3. Kafka的安装​​

​​l____ 4. 测试​​

1. 安装前须知

​注意：如果要让ELK+Kafka（单机版）跑起来，必须满足如下要求：​

1.虚拟机内存必须6G以上，否则无法运行

2.必须关闭防火墙，否则Kafka无法连接Zookeeper

2. Zookeeper的安装

1.下载zookeeper

docker pull wurstmeister/zookeeper

2.启动Zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3.查看zookeeper是否启动

docker ps

可以看到Zookeeper启动成功！

3. Kafka的安装

1.下载Kafka

docker pull wurstmeister/kafka

2.启动kafka

docker run --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.162.134:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.162.134:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-d  wurstmeister/kafka

3.查看容器是否启动成功

docker ps

可以看到Kafka也启动成功了！

4. 测试

1.进入kafka容器：

docker exec -it kafka /bin/bash

2.创建my_log主题（提示“Created topic 主题名”表示创建成功）：

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.162.134:2181 --replication-factor 1 --partitions 1 --topic my_log

3.查询创建主题：

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.162.134:2181

可以看到，查询结果为刚创建的主题​​my_log​​，成功！