实现常用 Kafka Java 客户端工具

Apache Kafka 是一个开源的流处理平台，可以通过 Java 客户端进行接入和操作。在本文中，我将引导你创建一个简单的 Kafka Java 客户端工具，下面是实现的步骤和代码示例。

实现步骤

我们将分为以下几个步骤来实现 Kafka 客户端：

步骤 描述
1 添加 Kafka 依赖
2 配置 Kafka 生产者和消费者
3 发送消息
4 接收消息
5 运行和测试

每一步详细操作

1. 添加 Kafka 依赖

在你的 Maven 项目的 pom.xml 中添加 Kafka 的依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.2.0</version> <!-- 请根据需要检查最新版本 -->
</dependency>

此代码将 Kafka 客户端添加到你的项目中。

2. 配置 Kafka 生产者和消费者

首先，我们需要设置 Kafka 生产者和消费者的配置：

import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringSerializer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Properties;

// Kafka Producer 配置
Properties producerProps = new Properties();
producerProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
producerProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
producerProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

// Kafka Consumer 配置
Properties consumerProps = new Properties();
consumerProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
consumerProps.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
consumerProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
consumerProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

这些代码设置了 Kafka 服务器地址及键值的序列化和反序列化类。

3. 发送消息

接下来，我们创建一个 Kafka 生产者并发送消息：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps);

ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
producer.send(record, (RecordMetadata metadata, Exception e) -> {
    if (e != null) {
        e.printStackTrace();
    } else {
        System.out.println("Message sent successfully to topic " + metadata.topic());
    }
});

producer.close();

这段代码创建了一个消息并将其发送到名为 my-topic 的主题。发送完成后，它会打印消息成功的日志。

4. 接收消息

现在我们可用一个 Kafka 消费者来接收消息：

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps);
consumer.subscribe(List.of("my-topic"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("Received message: Key = %s, Value = %s%n", record.key(), record.value());
    }
}

上面的代码使消费者订阅了主题，并持续地监听并打印接收到的消息。

5. 运行和测试

现在，你可以启动一个 Kafka 集群运行上述生产者和消费者代码，以测试它们的功能。

总结

通过这篇文章，我们实现了一个简单的 Kafka Java 实用工具，完成了消息的发送与接收。在实际应用中，你可以根据业务需求扩展这个基础框架，应用更复杂的逻辑和功能。

关系图

以下是一个简单的 Kafka 消息流关系图：

erDiagram
    producer ||--o{ topic : sends
    topic ||--o{ consumer : receives
    producer {
        string key
        string value
    }
    consumer {
        string key
        string value
    }

这个关系图展示了生产者、主题和消费者之间的关系。

希望这篇文章能帮助你入门 Kafka Java 客户端工具的开发！若有任何问题，请随时询问。