springboot kafka消费积压 springboot kafka consumer

**

我们这里学习Kafka，首先当然是先安装它啦(在这之前，需要安装一下Zookeeper，虽然Kafka自带zookeeper，但是最好下载一个)
Zookeeper教程：

然后，下载Kafka：
http://kafka.apache.org/downloads.html

一、Kafka的安装

下载完成后，解压

1.解压好之后，在bin目录的同一级新增两个空的文件夹data和kafka-logs

2.再进入到config目录下，编辑server.properties文件

2.1在这个文件中，需要新加两行内容：

其实复制粘贴就行，然后改一下ip地址注意！！！

这里的ip地址一定要是你电脑的ip地址，否则虽然能正常启动，但是使用的时候会报broker不可用

2.2加完上面两行内容后，还需要修改log.dirs后面的值

将log.dirs的值修改为刚刚新建的kafka-logs所在路径的值，注意路径的斜杠符号，保存。

3.然后再打开zookeeper.properties文件，将文件里面的dataDir的值改为刚刚新建的data文件夹的路径

到这里，Kafka差不多就安装好了

启动

1. 首先启动Zookeeper
   
   2.启动Kafka的服务端
   cmd，进入到Kafka的安装目录，输入.\bin\windows\kafka-server-start.bat .\config\server.properties，然后回车
   

启动完成。

整合过程

首先，pom.xml引入依赖

<dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
</dependency>

然后配置application.properties文件

#Kafka
spring.kafka.bootstrap-servers=192.168.43.100:9092
#生产者
# 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
spring.kafka.producer.acks=1
#发送失败后重复次数
spring.kafka.producer.retries=0
#每次批量发送消息的数量
spring.kafka.producer.batch-size=16384
#32M批处理缓冲区
spring.kafka.producer.buffer-memory=33554432
#指定消息key和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
#消费者
#指定默认消费者group id
spring.kafka.consumer.group-id=test-consumer-group
# 批量消费每次最多消费多少条消息(默认500)
spring.kafka.consumer.max-poll-records=50
#当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
#latest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费该分区下新产生的的数据
spring.kafka.consumer.auto-offset-reset=earliest
#开启自动提交
spring.kafka.consumer.enable-auto-commit=true
#自动提交频率(默认5000，单位毫秒)
spring.kafka.consumer.auto-commit-interval=100
#指定消息key和消息体的编解码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

测试

上面配置好之后，开始测试
1.消息实体类，我没有用lombok来简化代码，因为如果用了@Data、@Getter…等等的注解后，虽然少写了一些代码，但是看起来很别扭

public class KafkaUser implements Serializable {
    private String id;
    private String name;
    private String message;

    public KafkaUser() {
    }

    public KafkaUser(String id, String name, String message) {
        this.id = id;
        this.name = name;
        this.message = message;
    }

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getMessage() {
        return message;
    }

    public void setMessage(String message) {
        this.message = message;
    }

    @Override
    public String toString() {
        return "KafkaUser{" +
                "id=" + id +
                ", name='" + name + '\'' +
                ", message='" + message + '\'' +
                '}';
    }
}

2.生产者

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

@Component
public class KafkaSender {

    @Autowired
    private KafkaTemplate<String,String> kafkaTemplate;

    public void send(String userId){
        KafkaUser kafkaUser = new KafkaUser();
        kafkaUser.setId(userId);
        kafkaUser.setName("HelloDemo");
        kafkaUser.setMessage("Hello Kafka!");
        System.err.println("发送用户日志："+kafkaUser);
        kafkaTemplate.send("kafka_test", kafkaUser.toString());
    }
}

3.消费者

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

import java.util.Optional;

@Component
public class KafkaReceiver {

    @KafkaListener(topics = {"kafka_test"})
    public void receiver(ConsumerRecord<?,?> kafkaMessage){
        Optional<?> message = Optional.ofNullable(kafkaMessage.value());
        if(message.isPresent()){
            System.err.println("消费者消费消息：" + message.get());
        }
    }
}

测试结果

end