使用Java api监控Kafka消费者组的消费积压 java kafka 消费者

Java整合Kafka_消费者

• 一. Java整合Kafka_消费者

• ①. 导入依赖
• ②. 消费消息_自动提交offset_消费者
• ③. 消费消息_同步手动提交offset_消费者
• ④. 消费消息_异步手动提交offset_消费者
• ⑤. 使用 auto.offset.reset属性_消费者
• ⑥. 自定义存储 offset

• 二. 自定义 Interceptor 拦截器测试

• ①. configure(configs)
• ②. onSend(ProducerRecord)
• ③. onAcknowledgement(RecordMetadata, Exception)：
• ④. close()
• ⑤. 拦截器案例
• ⑥. 增加时间戳拦截器
• ⑦. 统计发送消息成功和发送失败消息数，并在 producer 关闭时打印这两个计数器
• ⑧. 生产者使用自定义拦截器
• ⑨. 测试拦截器效果

一. Java整合Kafka_消费者

①. 导入依赖

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.11.0.0</version>
        </dependency>

②. 消费消息_自动提交offset_消费者

• 为了使我们能够专注于自己的业务逻辑，Kafka 提供了自动提交 offset 的功能。
  自动提交 offset 的相关参数：

• enable.auto.commit：是否开启自动提交 offset 功能
• auto.commit.interval.ms：自动提交 offset 的时间间隔

/**
 * @author xizizzz
 * @description: 消费者 自动提交
 * @date 2021-7-3上午 11:33
 */
public class MyConsumer {
    public static void main(String[] args) {
        //1. 创建消费者配置信息
        Properties props = new Properties();
        //2. 连接集群
        props.put("bootstrap.servers",  "zookeeper1:9092");
        //3. 开启自动提交
        props.put("enable.auto.commit", "true");
        //4. 1秒提交一次
        props.put("auto.commit.interval.ms", "1000");
        //5. key value的反序列化
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //6. 消费者组
        props.put("group.id", "xizi");
        // 重置消费者的offset
        // 1.1 换组生效
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

        //7. 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        //8. 订阅主题
        consumer.subscribe(Arrays.asList("aaa","first"));
        //9. 获取数据
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("topic = %s,offset = %d, key = %s, value = %s%n", record.topic(),record.offset(), record.key(), record.value());
            }
        }
        //10. 关闭连接

    }
}

③. 消费消息_同步手动提交offset_消费者

• 手动提交 offset 的方法有两种：分别是 commitSync（同步提交）和 commitAsync（异步提交）。两者的相同点是，都会将本次 poll 的一批数据最高的偏移量提交；不同点是，commitSync 阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而 commitAsync 则没有失败重试机制，故有可能提交失败。

/**
 * @author xizizzz
 * @description: T手动提交 同步
 * @date 2021-7-3下午 12:24
 */
public class SyncCommitOffset {
    public static void main(String[] args) {
        Properties props = new Properties();
        //Kafka 集群
        props.put("bootstrap.servers",  "zookeeper1:9092");
        //消费者组，只要 group.id 相同，就属于同一个消费者组
        props.put("group.id", "test");
        props.put("enable.auto.commit", "false");//关闭自动提交 offset
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("first"));//消费者订阅主题
        while (true) {
            //消费者拉取数据
            ConsumerRecords<String, String> records =
                    consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value= %s%n", record.offset(), record.key(), record.value());
            }
            //同步提交，当前线程会阻塞直到 offset 提交成功
            consumer.commitSync();
        }
    }
}

④. 消费消息_异步手动提交offset_消费者

/**
 * @author xizizzz
 * @description: 手动提交 异步
 * @date 2021-7-3上午 11:33
 */
public class AsyncCommitOffset {
    public static void main(String[] args) {
        Properties props = new Properties();
        // Kafka 集群
        props.put("bootstrap.servers",  "zookeeper1:9092");
        // 消费者组，只要 group.id 相同，就属于同一个消费者组
        props.put("group.id", "xizizzz");

        // 关闭自动提交 offset
        props.put("enable.auto.commit", "false");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        // 消费者订阅主题
        consumer.subscribe(Arrays.asList("aaa"));
        // 消费者拉取数据
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }

            // 异步提交
            consumer.commitAsync(new OffsetCommitCallback() {
                @Override
                public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
                    if (exception != null) {
                        System.err.println("Commit failed for" + offsets);
                    }
                }
            });
        }
    }
}

⑤. 使用 auto.offset.reset属性_消费者

package com.xizi.consumer;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

/**
 * @author xizizzz
 * @description: 消费者 自动提交
 * @date 2021-7-3上午 11:33
 */
public class MyConsumer {
    public static void main(String[] args) {
        //1. 创建消费者配置信息
        Properties props = new Properties();
        //2. 连接集群
        props.put("bootstrap.servers",  "zookeeper1:9092");
        //3. 开启自动提交
        props.put("enable.auto.commit", "true");
        //4. 1秒提交一次
        props.put("auto.commit.interval.ms", "1000");
        //5. key value的反序列化
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //6. 消费者组
        props.put("group.id", "xizi");
        // 重置消费者的offset
        // 1.1 换组生效
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

        //7. 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        //8. 订阅主题
        consumer.subscribe(Arrays.asList("aaa","first"));
        //9. 获取数据
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("topic = %s,offset = %d, key = %s, value = %s%n", record.topic(),record.offset(), record.key(), record.value());
            }
        }
        //10. 关闭连接

    }
}

⑥. 自定义存储 offset

• Kafka 0.9 版本之前，offset 存储在 zookeeper，0.9 版本及之后，默认将 offset 存储在 Kafka的一个内置的 topic 中。
• 除此之外，Kafka 还可以选择自定义存储 offset。 offset 的维护是相当繁琐的，因为需要考虑到消费者的 Rebalace。
• 当有新的消费者加入消费者组、已有的消费者推出消费者组或者所订阅的主题的分区发生变化，就会触发到分区的重新分配，重新分配的过程叫做 Rebalance。
• 消费者发生 Rebalance 之后，每个消费者消费的分区就会发生变化。因此消费者要首先获取到自己被重新分配到的分区，并且定位到每个分区最近提交的 offset 位置继续消费。
• 要实现自定义存储 offset，需要借助 ConsumerRebalanceListener，以下为示例代码，其中提交和获取 offset 的方法，需要根据所选的 offset 存储系统自行实现。

/**
 * @author xizizzz
 * @description:  自定义存储offset
 * @date 2021-7-3下午 12:06
 */
public class MySaveOffset {
    private static Map<TopicPartition, Long> currentOffset = new HashMap<>();

    public static void main(String[] args) {
        // 创建配置信息
        Properties props = new Properties();
        // Kafka 集群
        props.put("bootstrap.servers", "zookeeper1:9092");
        // 消费者组，只要 group.id 相同，就属于同一个消费者组
        props.put("group.id", "xizi1");
        // 关闭自动提交 offset
        props.put("enable.auto.commit", "false");
        // Key 和 Value 的反序列化类
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        // 创建一个消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        // 消费者订阅主题
        consumer.subscribe(Arrays.asList("aaa"), new ConsumerRebalanceListener() {
            // 该方法会在 Rebalance 之前调用
            @Override
            public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
                commitOffset(currentOffset);
            }

            // 该方法会在 Rebalance 之后调用
            @Override
            public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
                currentOffset.clear();
                for (TopicPartition partition : partitions) {
                    consumer.seek(partition, getOffset(partition));// 定位到最近提交的 offset 位置继续消费
                }
            }
        });
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);// 消费者拉取数据
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                currentOffset.put(new TopicPartition(record.topic(), record.partition()), record.offset());
            }
            commitOffset(currentOffset);// 异步提交
        }
    }

    // 获取某分区的最新 offset
    private static long getOffset(TopicPartition partition) {
        return 0;
    }

    // 提交该消费者所有分区的 offset
    private static void commitOffset(Map<TopicPartition, Long> currentOffset) {
    }
}

二. 自定义 Interceptor 拦截器测试

• Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定
  制化控制逻辑。
• 对于 producer 而言，interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer 允许用户指定多个 interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。
• Intercetpor 的实现接口是org.apache.kafka.clients.producer.ProducerInterceptor，其定义的方法包括：

①. configure(configs)

• 获取配置信息和初始化数据时调用。

②. onSend(ProducerRecord)

• 该方法封装进 KafkaProducer.send 方法中，即它运行在用户主线程中。Producer 确保在消息被序列化以及计算分区前调用该方法。用户可以在该方法中对消息做任何操作，但最好保证不要修改消息所属的 topic 和分区，否则会影响目标分区的计算。

③. onAcknowledgement(RecordMetadata, Exception)：

• 该方法会在消息从 RecordAccumulator 成功发送到 Kafka Broker 之后，或者在发送过程中失败时调用。并且通常都是在 producer 回调逻辑触发之前。onAcknowledgement 运行在producer 的 IO 线程中，因此不要在该方法中放入很重的逻辑，否则会拖慢 producer 的消息发送效率。

④. close()

• 关闭 interceptor，主要用于执行一些资源清理工作
• 如前所述，interceptor 可能被运行在多个线程中，因此在具体实现时用户需要自行确保线程安全。另外倘若指定了多个 interceptor，则 producer 将按照指定顺序调用它们，并仅仅是捕获每个 interceptor 可能抛出的异常记录到错误日志中而非在向上传递。这在使用过程中要特别留意。

⑤. 拦截器案例

• 实现一个简单的双 interceptor 组成的拦截链。第一个 interceptor 会在消息发送前将时间
  戳信息加到消息 value 的最前部；第二个 interceptor 会在消息发送后更新成功发送消息数或
  失败发送消息数。

⑥. 增加时间戳拦截器

package com.xizi.Interceptor;

import org.apache.kafka.clients.producer.ProducerInterceptor;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Map;

/**
 * @author xizizzz
 * @description: 在发送前 将value前加时间戳
 * @date 2021-7-3下午 12:32
 */
public class TimeInterceptor  implements ProducerInterceptor<String, String> {
    @Override
    public void configure(Map<String, ?> configs) {
    }

    @Override
    public ProducerRecord<String, String> onSend(ProducerRecord<String, String> record) {
        // 创建一个新的 record，把时间戳写入消息体的最前部
        String value = record.value();
        value="TimeInterceptor: " + System.currentTimeMillis() + "," + record.value().toString();
        return new ProducerRecord(record.topic(), record.partition(), record.timestamp(), record.key(), value);
    }


    @Override
    public void close() {
    }

    @Override
    public void onAcknowledgement(RecordMetadata metadata, Exception exception) {
        // TODO Auto-generated method stub

    }
}

⑦. 统计发送消息成功和发送失败消息数，并在 producer 关闭时打印这两个计数器

package com.xizi.Interceptor;

import org.apache.kafka.clients.producer.ProducerInterceptor;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Map;

/**
 * @author xizizzz
 * @description: 计数拦截器 统计成功失败的个数
 * @date 2021-7-3下午 12:32
 */
public class CounterInterceptor implements ProducerInterceptor<String, String> {

    private int errorCounter = 0;
    private int successCounter = 0;

    @Override
    public void configure(Map<String, ?> configs) {
        // TODO Auto-generated method stub

    }

    @Override
    public ProducerRecord<String, String> onSend(ProducerRecord<String, String> record) {
        //数据不需要动
        return record;
    }

    @Override
    public void onAcknowledgement(RecordMetadata metadata, Exception exception) {
        // 统计成功和失败的次数
        if (exception == null) {
            successCounter++;
        } else {
            errorCounter++;
        }
    }

    @Override
    public void close() {
        // 最终输出 保存结果
        System.out.println("Successful sent: " + successCounter);
        System.out.println("Failed sent: " + errorCounter);
    }

}

⑧. 生产者使用自定义拦截器

package com.xizi.producer;

import com.xizi.partitioner.MyPartitioner;
import org.apache.kafka.clients.producer.*;

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

/**
 * @author xizizzz
 * @description: TODO
 * @date 2021-7-3下午 12:40
 */
public class InterceptorProducer {
    public static void main(String[] args)throws Exception {
        //1. 创建Kafka生产者的配置信息
        Properties props = new Properties();
        //2. 指定连接的Kafka集群  broker-list
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "zookeeper1:9092");

        //8. key value序列化类
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        //9. 使用自定义分区
        props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, MyPartitioner.class); // 设置的1号分区

        // 2 构建拦截链
        List<String> interceptors = new ArrayList<>();
        interceptors.add("com.xizi.Interceptor.CounterInterceptor");
        interceptors.add("com.xizi.Interceptor.TimeInterceptor");

        props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, interceptors);


        //10. 创建生产者对象
        Producer<String, String> producer = new KafkaProducer<>(props);
        //11. 发送数据
        for (int i = 0; i < 10; i++) {
            //指定数据发送到0号分区
            producer.send(new ProducerRecord<>("aaa",  "xizi_key","xizizzz--"+i), new Callback() {
                //回调函数， 该方法会在 Producer 收到 ack 时调用，为异步调用
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {
                    if (exception == null) {
                        System.out.println(metadata.topic()+"--"+metadata.partition() + "--" + metadata.offset());
                    } else {
                        exception.printStackTrace();
                    }
                }
            });
        }
        //11. 关闭资源
        producer.close();
    }
}

⑨. 测试拦截器效果