Kafka 单节点部署 Docker

Apache Kafka 是一个分布式的流处理平台，常用于实时数据处理。虽然 Kafka 通常在分布式环境中运行，但在开发和测试阶段，我们可以通过 Docker 快速部署一个单节点的 Kafka 实例。本文将介绍如何在 Docker 中部署 Kafka，并提供相关的代码示例。

一、环境准备

在开始之前，请确保你已安装了 Docker 和 Docker Compose。可以通过以下命令检查版本：

docker --version
docker-compose --version

二、创建 Docker Compose 文件

为了方便管理 Kafka 和 Zookeeper，我们将使用 docker-compose.yml 文件来定义所有服务。创建一个新的目录并进入该目录：

mkdir kafka-docker && cd kafka-docker

然后，创建一个名为 docker-compose.yml 的文件，并填入以下内容：

version: '3.8'

services:
  zookeeper:
    image: wurstmeister/zookeeper:3.4.6
    ports:
      - "2181:2181"
  
  kafka:
    image: wurstmeister/kafka:latest
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9092,OUTSIDE://localhost:9094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_LISTENERS: INSIDE://0.0.0.0:9092,OUTSIDE://0.0.0.0:9094
    depends_on:
      - zookeeper

在这个文件中，我们定义了两个服务：Zookeeper 和 Kafka。Zookeeper 用于管理 Kafka 集群的元数据，而 Kafka 则是消息系统的核心。

三、启动服务

现在，我们可以通过以下命令启动 Kafka 和 Zookeeper：

docker-compose up -d

该命令会在后台启动所有定义的服务。你可以通过以下命令查看服务的运行状态：

docker-compose ps

四、验证 Kafka 是否正常运行

在 Docker 中查看 Kafka 日志可以帮助我们确认它是否正常运行。使用以下命令查看 Kafka 的日志：

docker logs kafka

如果一切正常，你应该能看到 Kafka 启动的相关信息。

五、生产者与消费者示例

我们可以使用 Kafka 自带的命令行工具来创建一个主题并发送消息。

创建主题

首先，创建一个名为 test 的主题：

docker exec -it kafka kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

发送消息

然后，我们可以使用以下命令向 test 主题发送一条消息：

docker exec -it kafka kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

在提示符下，你可以输入消息内容，按回车发送。

消费消息

要消费刚刚发送的消息，可以打开另一个终端并运行以下命令：

docker exec -it kafka kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

你会看到之前发送的消息在此处显示。

六、Kafka 状态图展示

Kafka 的状态可以用状态图（State Diagram）可视化展示。例如，一个 Kafka 主题的状态可能包括创建、读取、写入等状态：

stateDiagram
    [*] --> Created
    Created --> Writing
    Writing --> Reading
    Reading --> [*]

七、Kafka 消息流分析

为了更好地理解 Kafka 的消息流，我们可以用饼状图（Pie Chart）来表示不同操作的比例，例如：发送消息、消费消息和错误处理：

pie
    title Kafka 操作比例
    "发送消息": 50
    "消费消息": 45
    "错误处理": 5

八、总结

通过以上步骤，我们成功在 Docker 中部署了一个单节点的 Kafka 实例。Kafka 提供了强大的流数据处理能力，适用于多种场景。尽管本次部署是单节点的，但在生产环境中，我们可以扩展为多节点集群以提高可用性和性能。希望这篇文章能帮助你快速上手 Kafka 的使用，快来尝试吧！