消息中间件需要解决哪些问题?

Message Priority

  1. RocketMQ所有消息都是持久化的,所以如果按照优先级构成优先队列,开销会非常大。
  2. 压缩业务优先级。RocketMQ使用多级优先级代替了精确优先级,例如按优先级排到高中低三个队列里面,解决绝大部分的优先级问题。业务在消费消息的时候往往使异步处理,所以2的策略对业务影响并不大。

Message Order

RocketMQ可以严格的保证消息有序。

Message Filter

  1. Broker端消息过滤 。Broker中,按照Consumer的要求做过滤,过滤方式较少,优点是减少流量。
  2. Consumer端消息过滤。这种过滤方式可由应用自定义,缺点是占用通信流量。

Message Persistence

消息中间件通常采用的几种持久化方式:

  1. 持久化到数据库,例如Mysql。
  2. 持久化到KV存储,例如levelDB、伯克利DB等KV存储系统。
  3. 文件记录形式持久化,例如Kafka,RocketMQ

Message Reliablity

异步复制+同步双写技术。RocketMQ从3.0版本开始支持同步双写。

Low Latency Messaging

在消息不堆积情况下,消息到达Broker后,能立刻到达Consumer。
RocketMQ使用长轮询Pull方式,可保证消息非常实时,消息实时性不低于Push。

At least Once

是指每个消息必须投递一次。
RocketMQ Consumer先pull消息到本地,消费完成后,才向服务器返回ack,如果没有消费一定不会ack消息,所以RocketMQ可以很好的支持此特性。

Exactly Only Once

对于此问题的解决思路,RocketMQ同其他MQ有非常显著的区别,RocketMQ的内存Buffer抽象成一个无限长度的队列,不管有多少数据进来都能装得下,这个无限是有前提的,Broker会定期删除过期的数据,例如Broker只保存3天的消息,那么这个Buffer虽然长度无限,但是3天前的数据会被从队尾删除。

此问题的本质原因是网络调用存在不确定性,即既不成功也不失败的第三种状态,所以才产生了消息重复性问题。

回溯消费

回溯消费是指Consumer已经消费成功的消息,由于业务上需求需要重新消费。
RocketMQ支持按照时间回溯消费,时间维度精确到毫秒,可以向前回溯,也可以向后回溯。