kafka rebalance机制 kafka的rebalance

转载

技术笔耕者 2024-04-19 11:19:53

文章标签 kafka rebalance机制 kafka 重启默认值元数据 文章分类 架构后端开发

文章目录

前言
触发Rebalance的原因

1. 消费者成员发生变化
2. 分区数发生变化
3. 订阅Topic发生变化

Rebalance全流程介绍

场景一：新成员入组
场景二：成员主动离组
场景三：成员崩溃离组
场景四：组成员提交位移

前言

所谓Rebalance就是让Consumer对如何消费订阅主题下的分区进行重新规划，由于整个过程所有Consumer都不能消费，因此Rebalance的发生次数以及一次Rebalance的持续时间都对Consumer有着很大的影响。

触发Rebalance的原因

1. 消费者成员发生变化

这应该是最常见的触发Rebalance的原因，比如：服务发布重启，就会造成消费者成员发生变化，一般而言这种场景是正常的需求，不必太过注意。

为了保证消费者组的可用性，Kafka中的Coordinator组件会负责监测所有Consumer的存活性，其判定方式是通过每个Consumer定期给它发送心跳来确定的，参数为session.timeout.ms，其默认值是10秒，也就是一旦Consumer超过10秒没有给Coordinator发送心跳，Coordinator就认为Consumer发生故障，此时Coordinator的做法就是将其从消费者组中移除，从而引发Rebalance，当然这本身是一个良好可用性的保障，只不过如果因为其他原因导致Consumer无法发送心跳而引起Rebalance就非其本意了，一般线上环境上最容易导致心跳无法发送的场景就是：长时间的GC暂停、CPU使用过高。

kafka rebalance机制 kafka的rebalance_重启

综上所述，对于session.timeout.ms配置的时间一定要做好评估（需要注意，该值必须在broker配置group.min.session.timeout.ms与group.max.session.timeout.ms的范围内），除了这个参数，Consumer还提供了另一个参数来控制发送心跳的频率，即：heartbeat.interval.ms，其值越小，频率就越高，通常情况下建议heartbeat.interval.ms设置为session.timeout.ms的三分之一。

除了session.timeout.ms参数超时会引起Rebalance之外，还有一个参数也有类似逻辑，即max.poll.interval.ms，这个参数就规定了，当调用poll()之后，如果在max.poll.interval.ms指定的时间内未消费完消息，也就是未再调用poll()方法，则Consumer会主动发起离开组的请求，从而产生Rebalance。