提起成熟的消息队列,毋庸置疑,大多数人的第一反应一定是 Kafka。Kafka 作为一款明星级产品,能够彻底满足海量数据场景下高吞吐、高并发需求,在短短几年内,已经被阿里、腾讯、百度、字节跳动、Netflix、Twitter 等超一线大厂视为技术核心——可以说今天还没听说过 Kafka,等于不知道地球是圆的!然而,技术的世界从没有“三十年河东三十年河西”的说法,夸张地比喻一下:很多技术经常是今天诞生、明天爆火、后天淘汰。市面上真的没有其他产品有可能取代 Kafka 吗?一身光环、头顶王冠的 Kafka 究竟还能火多久?

01

消息传递系统之王“陨落”在即

Kafka 最大的对手来了?

Kafka 被誉为消息传递系统之王,它全面具备:高吞吐量、低延迟、容错、持久性、可伸缩性,尤其是广为人知的高吞吐量,Kafka 每秒大约可以生产约 25 万消息(50 MB),每秒处理 55 万消息(110 MB)!Kafka 还有一个巨大的优势就是容错,它具备一个固有功能,可以自行应对集群中的节点故障。

Kafka慌了!大数据人必备的新一代消息平台,彻底火了?_Kafka

Kafka 当然很强,但在运维和实践过程中,却也始终存在着一些棘手的问题。例如:

扩展性较差,剥离 Broker 意味着必须复制 topic 分区和副本,效率很低;

缺乏一致性,一旦 API 发生变化很有可能出现问题;

存储成本非常高,几乎没有人用Kafka长时间存储数据;

没有与租户完全隔离的本地多租户,需要自行配置解决方案。

 

俯瞰技术生态,有没有一个平台,能够既拥有 Kafka 的优势,又规避它的缺陷,同时还融合了各个 MQ 的一系列特性呢?是的,你想要的完美,下一代云原生消息平台、Apache 顶级项目 Pulsar 都可以满足!

02

存储计算分离、分层分片云原生架构

Apache Pulsar

生来,注定是王者!

 

很多公司常常会在 Kafka 和 RabbitMQ 或 RocketMQ 之间做选择,这是因为在实时流式架构中,消息用例可被分为两类:队列和流。而 Pulsar 最优秀的地方正在于此,它将队列和流合二为一,统一为消息传递模型(producer-topic-subscription-consumer)!

 

也就是说,Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景,还能支持传统的标准消息队列模式,例如多消费者和失效备援订阅等。

 

一个 Pulsar 系统,直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性!更惊艳的是,Pulsar 采用云原生架构,它的架构设计能够充分利用分布式且能弹性扩容云端资源,永久性告别性能不足。

 

Kafka慌了!大数据人必备的新一代消息平台,彻底火了?_Kafka_02

Pulsar 消息发送模式架构图

 

目前,Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团(京东到家)、苏宁、平安证券、华为等各个领域的巨头争先广泛实践,有全面赶超 Kafka 的趋势,和当年阿里推动 Flink 取代 Spark 的态势非常相似!

 

2021 移动互联网下半场,高并发、高吞吐已经不再是首要的痛点,几乎可以肯定 Pulsar 将会被越来越多的大厂快速应用,成为下一个风口!