概述
本文分析kafka网络层的实现原理。
通过这篇文章我们可以对kafka broker的系统架构有一个整体的概念。这篇文章着重介绍kafka网络层的实现原理。
网络层功能介绍
kafka中网络层的主要功能是：
- 监听客户端的连接请求，和客户端建建立网络连接；
- 和客户端建立连接后，启动处理线程，接收客户端的命令请求；
- 把客户端的请求发送给消息处理子系统；
kafka网络层实现原理分析
和很多高效的服务器一样，kafka的网络层使用了：NIO+线程池的模式。这样，既保证了接收客户端请求的高效性，又使得服务端达到负载均衡(多线程)。
具体的实现示意图如下：
从上图可以看出，当和客户端完成连接后，会从线程池中获取一个线程，或创建一个线程来接手完成后的连接。后续，客户端发送过来的命令都由该线程负责处理。
kafka网络层启动流程
网络层启动流程如下图：
kafka网络层消息处理分析
kafka的消息处理的过程如下图所示：
broker接收请求
通过上图查看broker接收请求的分支，主要是在函数Processor.processCompletedReceives()中对接收到的请求进行处理。
对于接收到的请求，broker的处理很简单，主要完成以下几步：
- 解析请求头
- 创建一个RequestChannel.Request实体
- 并把该实体放到val requestQueue = ArrayBlockingQueue[BaseRequest]阻塞数组中
到此，请求接收就完成了。
当请求被放到requestQueue阻塞数组中后，KafkaRequestHandler(调用KafkaApis.handle()来处理请求)对象的线程会及时获取到该请求，并调用对应的KafkaApis.handle()对请求进行处理。
接收请求的示意图如下：
broker接收处理后返回的结果
当KafkaApis把请求处理完成后，会把结果保存到var responseQueue = new LinkedBlockingDeque[RequestChannel.Response]阻塞链表中。此时broker的Processor会及时得到通知，从该阻塞链表中取出返回结果。
总结
本文讲述了kafka中broker的网络层：如何接收连接请求，如何处理请求，如何接收请求的处理返回结果等的实现原理。
通过本文的分析可以看出：消费者-生产者这一经典的线程模型的不同的实现方式，和广泛的应用。
接下来的文章会继续分析kafka的broker是如何处理各种请求的，也就是API层的实现原理。
