kafka消费后删除消息 kafka消息消费完后就删除

目录

• 消息队列的两种模式

• 点对点模式
• 发布订阅模式

• kafka重要概念
• 幂等性和事务

消息队列的两种模式

点对点模式

• 每个消息只有一个接收者，一旦消息被消费，消息就会删除

发布订阅模式

• 每个消息可以有多个消费者，消费完不会被删除，消息默认保存7天（可指定配置log.roll来修改）；
• 同一个消费者组内的多个消费者可以当作一个整体，他们共用一个offset（即不会重复消费消息）；

kafka重要概念

1. producer（生产者）

生产者负责往MQ中写入消息

2. consumer（消费者）

消费者负责从MQ中读取消息

3. consumer group（消费者组）

一个消费者组包含多个消费者，同一消费者组中的所有消费者可以看作一个整体，共同消费指定的topic，消费者组内的多个消费者不会出现消费同一条数据的情况

4. broker

kafka集群是由多个节点组成，每个节点称为borker，broker是由kafka中一台或多台服务器组成

5. partition

partition代表kafka数组的组成单元，kafka的数据分布在多个partition中

6. replicas

为了保证分布式高可用，防止某一broker宕机导致数据不完整，故将每个partition复制了多分relicas

7. topic

topic是一个逻辑上的概念，是用于对消息进行划分

幂等性和事务

• 幂等性

kafka可以配置开启幂等性配置（enable.idempotence），开启后，kafka每条消息会带上pid和sequence number两个属性，当消息重复提交，会去校验pid + sequence number的唯一性

pid：produce id，每个produce都有自己唯一的pid
sequence number：一个由0开始递增的整数，broker会在内存中维护每个pid对应的sequence number，只有当新消息对应的sequence number比broker记录的大1（即SN_new = SN_old + 1）才会接受，小于表示重复提交，大于表示有消息遗漏

• 事务

kafka事务需要幂等性的支持，事务可以保证多个分区写入操作的原子性。kafka事务主要为了实现精确一次处理（exactly once semantic， EOS），而EOS是实现流处理系统的正确性的基石