保证kafka消费有序 kafka如何保证消费顺序

转载

mob64ca13f9e726 2024-02-20 11:44:01

文章标签 保证kafka消费有序数据 kafka 先进先出 文章分类 架构后端开发

一、`MQ遵循投递消息先进先出原则`

1.为什么MQ会产生消息顺序的问题?

1.消费者集群;。

2. MQ服务端如果是集群;

保证kafka消费有序 kafka如何保证消费顺序_保证kafka消费有序

单个消费者：

单个消费者情况下，MQ的队列会根据先进先出的原则，消费的顺序是不会打乱的、。I

保证kafka消费有序 kafka如何保证消费顺序_数据_02

当消费者集群：

mq消费者订阅到同一个队列情况时，消费者会做均摊消费或者是公平消费。

有可能出现一下情况：

保证kafka消费有序 kafka如何保证消费顺序_kafka_03

单个消费者情况下，MQ的队列会根据先进先出的原则，消费的顺序是不会打乱的。

2.队列原则：

先进先出

3.MQ消息顺序的行为产生的背景：

1.当我们往MQ中同一个队列投递消息行为不统一的情况消费者在消费的时候就会产生先后顺序问题
注意：单台消费者是不存在消息的顺序的问题，但是单机版本的消费吞吐比较低，所以一般消费者肯定要集群。
在多个消费者消费同一个队列中的消息时候，有可能产生消息顺序行为错乱的问题。

`三、MQ顺序消息产生的背景有那些`

保证kafka消费有序 kafka如何保证消费顺序_保证kafka消费有序_04

保证kafka消费有序 kafka如何保证消费顺序_kafka_05

保证kafka消费有序 kafka如何保证消费顺序_kafka_06

不同broker，相当于不同的服务器，不确定消费者先拿到哪一个服务器的消息。

保证kafka消费有序 kafka如何保证消费顺序_先进先出_07

`四、MQ如何保证消息的顺序性`

@RequestMapping("/getOrderKafka")
    public String getOrderKafka() {
        String orderId = System.currentTimeMillis() + "";
//        // 发送insertmsg
        sendMsg(getSqlMsg("insert", orderId));
        // 发送Updatemsg
        sendMsg(getSqlMsg("update", orderId));
        // 发送deletemsg
        sendMsg(getSqlMsg("delete", orderId));
         return "success";

private void sendMsg(String data) {
        // topic 名称 key data 消息数据
        kafkaTemplate.send("mayikt-topic", data);

    }

public String getSqlMsg(String type, String orderId) {
        JSONObject dataObject = new JSONObject();
        dataObject.put("type", type);
        dataObject.put("orderId", orderId);
        return dataObject.toJSONString();
    }

运行结果：

不同分区，单个消费者获取消息的顺序会不确定。

broke集群，单个消费者，消费消息的顺序会打乱。

保证kafka消费有序 kafka如何保证消费顺序_先进先出_08

保证kafka消费有序 kafka如何保证消费顺序_kafka_09

五、`解决MQ消息顺序的问题核心思路`

1、为什么我们的MQ服务器端集群的话，单个消费者消费消息顺序会被打乱?

因为我们的投递消息分别存放到多个不同的Broker存放,单个消费者获取所有的Broker建
立长连接，获取顺序可能是随机的。

保证kafka消费有序 kafka如何保证消费顺序_保证kafka消费有序_10

保证kafka消费有序 kafka如何保证消费顺序_kafka_11

参数多了key orderId作为key, key相同hash值就会相同，则会被分到同一个broker中。一个消费者，必定会按照存放先进先出的顺序来消费。

@RequestMapping("/getOrderKafka")
    public String getOrderKafka() {
        String orderId = System.currentTimeMillis() + "";
        send(orderId, getSqlMsg("insert", orderId));
        // 发送Updatemsg
        send(orderId, getSqlMsg("update", orderId));
        // 发送deletemsg
        send(orderId, getSqlMsg("delete", orderId));
        return "success";
    }

/**
     * 发送消息的方法
     *
     * @param key  推送数据的key
     * @param data 推送数据的data
     */
private void send(String key, String data) {
        // topic 名称 key data 消息数据
        kafkaTemplate.send("mayikt-topic", key, data);

    }

运行结果：顺序没有被打乱

保证kafka消费有序 kafka如何保证消费顺序_数据_12

保证kafka消费有序 kafka如何保证消费顺序_数据_13

2、在什么样的情况下，消费者获取消息顺序不会打乱

(同一个 Broker、同一个消费者)。

3、如何解决kafka或者rocketmq消息顺序的问题?

答案:对相同业务逻辑设置相同的消息key,存放到同一个broker,最终对应一个消费者实
现消费。。

六、`解决MQ消息顺序的问题总结`

1.MQ如何保证消息的顺序的问题?

1.如果我们的生产者往我们的MQ投递消息行为不一样，可能会产生消息顺序的问题，。
如果我们的投递的消息到同一个队列中行为是一样的情况下，没有必要在意消息顺序的问
题。。
2.我们的 MQ存放消息默认的情况下本身就是有一定顺序，遵循先进先出的原则(单个MQ
情况下)。
3. 如果我们有多个消费者订阅同一个队列的情况下，可能会产生消费者顺序会被打乱
4.如果我们的Broker是集群的情况下，因为不同的消息可能会存放多个不同的Broker中，
单个消费者在获取消息的时候顺序可能会被打乱

2.解决消息顺序的核心思路:

保证我们的消息存放到同一个Broker中，对应只有一个消费者实现消费;。
备注: kafka对我们的消息设置相同的key, key 可以根据业务来定。。
但是我们的单个消费者消费消息吞吐非常低，可以采用消费者批量获取我们的消息，让后采
用内存队列实现存放。(也会根据消息都key计算相同的key存放到同一个内存队列中),
每个内存队列只会对应的一个线程实现处理。