“
容器、Kubernetes、DevOps、微服务、云原生，这些技术名词的频繁出现，预兆着新的互联网技术时代的到来，大数据高并发将不再遥远，而是大部分项目都必须面对的，消息队列则是核心利器！成熟的消息队列产品很多，该如何技术选型？下面是翻译自Confluent 官方博客的消息队列性能对比测试。
云硬件Kafka
性能测试
众所周知Kafka快，究竟有多快，跟其他队列相比又如何？这里选择了Kafka、RabbitMQ 和Apache Pulsar进行测试，关注点是系统吞吐量 和系统延迟，因为它们是生产中事件流处理系统的核心性能指标。具体来说，吞吐量测试测量队列在硬件（特别是磁盘和 CPU）使用方面的效率。延迟测试测量每个系统传递实时消息的差别，这是实时任务关键型应用程序以及微服务架构的核心要求。
最终结论：
吞吐量：Kafka 在三个系统中的吞吐量最高，是 RabbitMQ 的 15 倍，Pulsar 的 2 倍。
系统延迟：Kafka 在较高的吞吐量下提供了最低的延迟，同时还提供了强大的持久性和高可用性。RabbitMQ 可以实现比 Kafka 更低的端到端延迟，但只能在吞吐量低很多的情况下。
Kafak的高吞吐和低延迟是怎么实现的？Kafak有着极为优秀和出色的设计，一是页缓存技术+磁盘顺序写，一是零拷贝技术！
DotNetdaily
页缓存技术
磁盘顺序写
Kafka的消息数据是写在硬盘上的，保证了消息数据的可靠性，但写硬盘还能保证几十万条/秒的消息处理速度，是怎么做到的？答案是基于操作系统的页缓存和磁盘顺序写来实现的。
页缓存page cache，就是操作系统自己管理的内存缓存，也叫os cache。Kafka在写入消息时，是直接写入页缓存，然后由操作系统决定什么时候把页缓存里的数据刷入磁盘文件中。这样一来，消息写入性能就变成了写内存，不是在写磁盘，请看下图。
常规的磁盘写入都是随机写，随便找到文件的某个位置来写数据，这样的性能非常差，但是追加文件末尾按照顺序的方式来写数据的话，其写入性能跟写内存的性能都相差无几的。Kafak就是采用顺序写的方案，再加上页缓存的应用，才能做到在普通服务器上每秒写入几十万条消息，实现了数据写入的超高性能。
DotNetdaily
零拷贝技术
解决了写入问题，那消息读取呢？频繁的从磁盘读数据然后发给消费者，性能又是如何保证的？Kafka为了解决这个问题，在读数据的时候是引入零拷贝技术。
先看图1是常规的硬盘读写流程，操作系统读取硬盘数据后放在OS Cache，然后需要拷贝一次到Kafka进程，然后Kafka再将数据拷贝到Socket缓存才能发送到网卡，这样流程的性能当然没有保障。
再看图2， Kafka的设计为直接将操作系统OS Cache中的数据发送到网卡，跳过了两次拷贝数据的步骤，Socket缓存中仅仅会拷贝一个描述符过去，不会拷贝数据到Socket缓存，大大提升了数据读取性能。
DotNetdaily
