kafka中间件 国产化替代

一、Kafka是什么

kafka是一个分布式的，可分区的、可复制的消息发布和订阅系统，具备高性能和高吞吐率。

1、Kafka介绍

Kafka 是基于发布与订阅的消息系统。最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基 于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2、Kafka主要设计目标

• 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。
• 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。
• 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。
• 同时支持离线数据处理和实时数据处理
• 支持在线水平扩展

3、Kafka消息传递模式

现代软件系统有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。

对于消息中间件，消息分推拉两种模式。Kafka只有消息的拉取，没有推送，可以通过轮询实现消息的推送。

4、Kafka主要特点与优势

1. 高吞吐量。同时为发布和订阅提供高吞吐量。。即使存储了许多TB的消息，它也保持稳定的 性能。据了解，Kafka 每秒可以生产约 25 万消息（50MB），每秒处理 55 万消息（110MB）。

2. 高性能：单节点支持上千个客户端，并保证零停机和零数据丢失。

3.可持久化数据存储。将消息持久化到磁盘。通过将数据持久化到硬盘以及replication防止数据丢失。

   ① 零拷贝 ② 顺序读，顺序写③. 利用Linux的页缓存

4.分布式系统，易于向外扩展。所有的Producer、Broker和Consumer都会有多个，均为分布 式的。无需停机即可扩展机器。多个Producer、Consumer可能是不同的应用。

5. 可靠性 - Kafka是分布式，分区，复制和容错的。

6. 客户端状态维护：消息被处理的状态是在Consumer端维护，而不是由server端维护。当失败 时能自动平衡。

7. 支持online和offline的场景。

8. 支持多种客户端语言。Kafka支持Java、.NET、PHP、Python等多种语言。

5、Kafka应用场景

日志收集：一个公司可以用Kafka可以收集各种服务的Log，通过Kafka以统一接口服务的方式开放 给各种Consumer；

消息系统：解耦生产者和消费者、缓存消息等；

用户活动跟踪：Kafka经常被用来记录Web用户或者App用户的各种活动，如浏览网页、搜索、点 击等活动，这些活动信息被各个服务器发布到Kafka的Topic中，然后消费者通过订阅这些Topic来做实 时的监控分析，亦可保存到数据库；

运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告；

流式处理：比如Spark Streaming和Storm。

二、Kafka应用架构

1、拓扑结构

Kafka 的整体架构非常简单，是分布式架构，Producer、Broker 和Consumer 都可以有多个。

• Producer，Consumer 实现 Kafka 注册的接口。
• 数据从 Producer 发送到 Broker 中，Broker 承担一个中间缓存和分发的作用。
• Broker 分发注册到系统中的 Consumer。Broker 的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。
• 客户端和服务器端的通信，是基于简单，高性能，且与编程语言无关的 TCP 协议。

2、核心概念

（1）Producer

消息生产者，发布消息到kafka集群的终端或服务。该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后，broker将该消息追加到 当前用于追加数据的 segment 文件中。

一般情况下，一个消息会被发布到一个特定的主题上。

• 1. 默认情况下通过轮询把消息均衡地分布到主题的所有分区上。
• 2. 在某些情况下，生产者会把消息直接写到指定的分区。这通常是通过消息键和分区器来实现 的，分区器为键生成一个散列值，并将其映射到指定的分区上。这样可以保证包含同一个键的 消息会被写到同一个分区上。
• 3. 生产者也可以使用自定义的分区器，根据不同的业务规则将消息映射到分区。

（2）Consumer

消费者读取消息。

• 1. 消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。
• 2. 消费者通过检查消息的偏移量来区分已经读取过的消息。偏移量是另一种元数据，它是一个不 断递增的整数值，在创建消息时，Kafka 会把它添加到消息里。在给定的分区里，每个消息的 偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在Zookeeper 或Kafka 上，如果消费者关闭或重启，它的读取状态不会丢失。
• 3. 消费者是消费组的一部分。群组保证每个分区只能被一个消费者使用。
• 4. 如果一个消费者失效，消费组里的其他消费者可以接管失效消费者的工作，再平衡，分区重新分配。

（3）Broker

一个独立的Kafka 服务器被称为broker（kafka 集群中包含的服务器）。broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

• 1. 如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个 partition。
• 2. 如果某topic有N个partition，集群有(N+M)个broker，那么其中有N个broker存储该topic的 一个partition，剩下的M个broker不存储该topic的partition数据。
• 3. 如果某topic有N个partition，集群中broker数目少于N个，那么一个broker存储该topic的一 个或多个partition。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致Kafka 集群数据不均衡。

broker 是集群的组成部分。每个集群都有一个broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。

控制器负责管理工作，包括将分区分配给broker 和监控broker。

在集群中，一个分区从属于一个broker，该broker 被称为分区的首领。

（4）Topic

特指 Kafka 处理的消息源（feeds of messages）的不同分类。每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。

物理上不同Topic的消息分开存储。 主题就好比数据库的表，尤其是分库分表之后的逻辑表。

（5）Partition

Topic 物理上的分组（分区），一个 Topic 可以分为多个 Partition 。每个 Partition 都是一个有序的队列。Partition 中的每条消息都会被分配一个有序的 id（offset）。

• 1. 主题可以被分为若干个分区，一个分区就是一个提交日志。
• 2. 消息以追加的方式写入分区，然后以先入先出的顺序读取。
• 3. 无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。
• 4. Kafka 通过分区来实现数据冗余和伸缩性。
• 5. 在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。

（6）Replicas

partition 的副本，保障 partition 的高可用。

Kafka 使用主题来组织数据，每个主题被分为若干个分区，每个分区有多个副本。那些副本被保存 在broker 上，每个broker 可以保存成百上千个属于不同主题和分区的副本。

副本有以下两种类型：

首领副本：每个分区都有一个首领副本。为了保证一致性，所有生产者请求和消费者请求都会经过这个副本。

跟随者副本：首领以外的副本都是跟随者副本。跟随者副本不处理来自客户端的请求，它们唯一的任务就是从首 领那里复制消息，保持与首领一致的状态。如果首领发生崩溃，其中的一个跟随者会被提升为新首领。

 

单纯角色来说，Kafka 和 RocketMQ （RocketMQ 从 Kafka 演化而来。）是基本一致的。比较明显的差异是：

• 1、Kafka 使用 Zookeeper 作为命名服务；RocketMQ 自己实现了一个轻量级的 Namesrv 。
• 2、Kafka Broker 的每个分区都有一个首领分区；RocketMQ 每个分区的“首领”分区，都在 Broker Master 节点上
• 3、Kafka Consumer 使用 poll 的方式拉取消息；RocketMQ Consumer 提供 poll 的方式的同时，封装了一个 push 的方式。

三、Kafka安装与配置

《centOS7 kafka安装与配置》

四、Kafka启动流程与源码分析

TODO

 

五、精选面试题

1、ZooKeeper 在 Kafka 中起到什么作用？

在基于 Kafka 的分布式消息队列中，ZooKeeper 的作用有：

• 1、Broker 在 ZooKeeper 中的注册。
• 2、Topic 在 ZooKeeper 中的注册。
• 3、Consumer 在 ZooKeeper 中的注册。
• 4、Producer 负载均衡。
• 5、Consumer 负载均衡。
• 6、记录消费进度 Offset 。
• 7、记录 Partition 与 Consumer 的关系。

其实，总结起来，就是两类功能：

• Broker、Producer、Consumer 和 Zookeeper 的交互。（1,2,3，5）
• 相应的状态存储到 Zookeeper 中。（4,6,7）

 

 

附kafka基本知识点思维导图