kafka 多线程消费 java

原创

mob64ca12d06991 2024-10-11 10:55:20 ©著作权

文章标签 多线程 kafka apache 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12d06991的原创作品，请联系作者获取转载授权，否则将追究法律责任

Kafka 多线程消费在 Java 中的应用

Apache Kafka 是一种高吞吐量的分布式消息系统，广泛应用于数据流处理和实时分析。为提高处理效率，Kafka 支持多线程消费。在此，我们将探讨如何在 Java 中实现 Kafka 的多线程消费，并提供代码示例。

为什么使用多线程消费

使用多线程消费的主要优点包括：

提高吞吐量：多线程可以并发地处理消息，显著提高处理速度。
负载均衡：通过将不同的分区分配给不同的线程，能够实现更均匀的负载分布。
提高实时性：多线程同时处理多个消息，使得系统对消息的响应速度更快。

Kafka 消费者架构

在 Kafka 中，消费者可以在同一消费者组中工作。Kafka 会将不同的分区分配给不同的消费者。下面是消费者和分区的关系图：

erDiagram
    Consumer_Group {
        +group_id
    }
    Topic {
        +topic_name
        +partitions
    }
    Partition {
        +partition_id
        +offset
    }
    Consumer_Group ||--o{ Topic : consumes
    Topic ||--o{ Partition : has

Java 示例代码

下面是一个基本的 Kafka 多线程消费者的实现示例。

Maven 依赖

首先，你需要在 pom.xml 中添加 Kafka 相关依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.3.1</version>
</dependency>

多线程消费者实现

下面的代码实现了一个简单的多线程 Kafka 消费者。

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class MultiThreadedConsumer implements Runnable {

    private KafkaConsumer<String, String> consumer;
    private String topic;

    public MultiThreadedConsumer(String topic) {
        this.topic = topic;
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        this.consumer = new KafkaConsumer<>(properties);
    }

    @Override
    public void run() {
        consumer.subscribe(Collections.singletonList(topic));
        while (true) {
            for (ConsumerRecord<String, String> record : consumer.poll(Duration.ofMillis(100))) {
                System.out.printf("Consumed message: %s from partition: %d, offset: %d%n",
                        record.value(), record.partition(), record.offset());
            }
        }
    }

    public static void main(String[] args) {
        Runnable consumer1 = new MultiThreadedConsumer("test-topic");
        Runnable consumer2 = new MultiThreadedConsumer("test-topic");

        new Thread(consumer1).start();
        new Thread(consumer2).start();
    }
}