javakafka监听消费

原创

mob64ca12d5dd85 2024-10-12 05:18:31 ©著作权

文章标签 kafka apache java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12d5dd85的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java Kafka 监听消费入门指南

对于刚入行的开发者来说，使用 Kafka 进行消息的监听和消费可能会感到有些复杂。本文将帮助你理解整个流程，并通过示例代码带你一步步实现 Kafka 消费者的监听。

整体流程

以下是实现 Kafka 消费者的步骤：

步骤	描述
1	引入 Kafka 依赖
2	配置消费者属性
3	创建消费者实例
4	订阅消息主题
5	不断拉取消息
6	关闭消费者

步骤详解及代码示例

第一步：引入 Kafka 依赖

在你的 Maven pom.xml 文件中添加 Kafka 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.2.0</version>  <!-- 请根据需要选择版本 -->
</dependency>

kafka-clients 是与 Kafka 进行交互的核心库。

第二步：配置消费者属性

你需要为消费者配置属性，这些属性包括 Kafka 服务器地址、组 ID、序列化方式等。以下是一段基本的消费者配置代码：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Properties;

Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); // Kafka服务器地址
props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); // 消费者组ID
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); // 键的反序列化器
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); // 值的反序列化器

此代码设置了 Kafka 消费者的基本信息，包括服务器地址和序列化配置。

第三步：创建消费者实例

使用之前的配置，创建 KafkaConsumer 实例：

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

创建消费者对象后，我们可以通过该对象实现对消息的监听与消费。

第四步：订阅消息主题

订阅想要消费的主题：

consumer.subscribe(List.of("your_topic_name")); // 请将 "your_topic_name" 替换为你的主题名称

通过 subscribe 方法，你指定了该消费者要监听的主题。

第五步：不断拉取消息

在一个循环中，不断地拉取消息并处理：

import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); // 拉取消息
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("Consumer Record:(%d, %s, %d, %d)\n", record.key(), record.value(), record.partition(), record.offset());
    }
}

poll 方法用于拉取消息，可以设置每次拉取的超时时间，这里我们设置为100毫秒。

第六步：关闭消费者

在不再需要监听时，务必关闭消费者：

consumer.close();

close 方法会关闭Kafka消费者，释放机制资源。

完整代码示例

以下是整合上述步骤的完整代码：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.time.Duration;
import java.util.List;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        // 设置消费者配置
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者实例
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(List.of("your_topic_name")); // 订阅主题

        // 不断拉取消息
        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("Consumer Record:(%d, %s, %d, %d)\n", record.key(), record.value(), record.partition(), record.offset());
                }
            }
        } finally {
            consumer.close(); // 关闭消费者
        }
    }
}

甘特图展示

gantt
    title 发布 - 订阅消费者开发
    dateFormat  YYYY-MM-DD
    section 初始阶段
    引入Kafka依赖          :a1, 2023-10-01, 1d
    配置消费者属性        :a2, after a1  , 1d
    section 实现阶段
    创建消费者实例       :b1, after a2  , 1d
    订阅消息主题          :b2, after b1  , 1d
    不断拉取消息          :b3, after b2  , 2d
    关闭消费者           :b4, after b3  , 1d