1.消费者本地offset
Kafka consumer会在本地维护每一个分区的消费offset,然后再发送拉取请求的时候,会把分区对应的本地offset发送给broker,broker按照请求里的offset来返回消息,broker不会维护每一个客户端的消费进度。但是broker会维护partition级别的offset,这样新的consumer第一次消费或者再均衡消费时,就可以根据这个offset来消费了。
2.那broker又是如何维护paitition级别的offset呢?
每一个comsumer可以发送自己的本地offset给broker,这个可以也可以不在poll时,取决于配置的策略。通过这种方式就可以让broker记录每一个paitition的消费位置了。
消费者发送offset的策略有三种:
1)自动提交,会在poll时发送,并且根据配置的时间间隔;
2)手动同步提交,会阻塞;
3)手动异步提交;其实1)也是异步的。
3.offset策略
好,至此,如果说broker已经有了patition的offset,那么新的消费者进来仍然有消费的策略。
earliest:从最开始消费;
latest:从最后的offset消费;如果broker没有维护partition级别的offset,那么这个策略就无法实现了。
当然,如果broker也没有offset数据,那这种情况就只能按照earliest策略来了。