Redis服务器是一个事件驱动程序,服务器需要处理文件事件、时间事件两类事件。

文件事件(file event): Redis服务器通过套接字与客户端(可以是其他Redis服务器)进行连接,文件事件就是服务器对套接字操作的抽象。服务器与客户端的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列网络通信操作。

时间事件(time event): Redis服务器中的一些操作(比如serverCron函数)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象。

1.文件事件

Redis基于Reactor模式开发了自己的网络事件处理器:这个处理器被称为文件事件处理器(file event handler):

  • 文件事件处理器以单线程方式运行,使用ⅠO多路复用程序来同时监听多个套接字,既实现了高性能的网络通信模型,又可以很好地与Redis服务器中其他同样以单线程方式运行的模块进行对接,这保持了Redis内部单线程设计的简单性。
  • 当被监听的套接字准备好执行连接应答(accept)、读取(read)、写人(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

(1)文件事件处理器的构成

文件事件处理器的四个组成部分,它们分别是套接字socket、IO多路复用程序、文件事件分派器(dispatcher),以及事件处理器套接字。

redis 时间轴 redis时间事件_redis 时间轴

套接字: 套接字操作可以抽象为文件事件,每当一个套接字准备好执行连接应答、写入、读取、关闭等操作时,就会产生一个文件事件。一个服务器通常会连接多个套接字,因此多个文件事件有可能会并发地出现。

IO多路复用程序: 负责监听多个套接字,并向文件事件分派器传送那些产生了事件的套接字。

文件事件分派器: 接收IO多路复用程序传来的套接字,并根据套接字产生的事件的类型,调用相应的事件处理器。

事件处理器: 服务器会为执行不同任务的套接字关联不同的事件处理器,事件处理器是一个函数,定义了某个事件发生时,服务器应该执行的动作。

尽管多个文件事件可能会并发地出现,但IO多路复用程序会将所有产生事件的套接字都放到一个队列里面,然后通过这个队列,以有序、同步、每次一个套接字的方式向文件事件分派器传送套接字。当上一个套接字产生的事件被处理完毕之后(该套接字为事件所关联的事件处理器执行完毕),IO多路复用程序才会继续向文件事件分派器传送下一个套接字,如下图所示。

redis 时间轴 redis时间事件_redis 时间轴_02

(2)I/O多路复用函数的实现

Redis的I/O多路复用程序的所有功能都是通过包装常见的select、epoll、evport和kqueue这些I/O多路复用函数库来实现的,每个I/O多路复用函数库在Redis源码中都对应一个单独的文件。因为Redis为每个IO多路复用函数库都实现了相同的API,所以IO多路复用程序的底层实现是可以互换的。

(3)事件的类型

I/O多路复用程序可以监听多个套接字的ae.h/AEREADABLE事件和ae.h/AEWRITABLE事件,这两类事件和套接字操作之间的对应关系如下:

  • AEREADABLE事件: 当套接字变得可读时(客户端对套接字执行write操作,服务器可以读取套接字),或者有新的可应答(acceptable)套接字出现时(客户端对服务器的监听套接字执行connect操作),套接字产生AEREADABLE事件。
  • AEWRITABLE事件: 当套接字变得可写时(服务器向套接字写,客户端可对套接字执行read操作),套接字产生AEWRITABLE事件。

I/O多路复用程序允许服务器同时监听套接字的AEREADABLE事件和AEWRITABLE事件,如果一个套接字同时产生了这两种事件,那么文件事件分派器会优先处理AEREADABLE事件,等到AEREADABLE事件处理完之后,才处理AEWRITABLE事件。

(4)文件事件处理器

Redis为文件事件编写了多个处理器,用于实现不同的网络通信需求,比如如下处理器,在这些事件处理器里面,服务器最常用的要数与客户端进行通信的连接应答处理器、命令请求处理器和命令回复处理器。

  • 连接应答处理器:对连接服务器的各个客户端进行应答;
  • 命令请求处理器:接收客户端传来的命令请求;
  • 命令回复处理器向客户端返回命令的执行结果;
  • 复制处理器:处理主服务器和从服务器进行复制操作;

①连接应答处理器

networking.c/acceptTcpHandler函数是Redis的连接应答处理器,这个处理器用于对连接服务器监听套接字的客户端进行应答,具体实现为sys/socket.h/accept函数的包装。

当Redis服务器进行初始化的时候,程序会将这个连接应答处理器和服务器监听套接字的AE READABLE事件关联起来,当有客户端用sys/socket.h/connect函数连接服务器监听套接字的时候,套接字就会产生AEREADABLE事件,引发连接应答处理器执行,并执行相应的套接字应答操作。

②命令请求处理器

networking.c/readQueryFromClient函数是Redis的命令请求处理器,这个处理器负责从套接字中读入客户端发送的命令请求内容,具体实现为unistd.h/read函数的包装。

当一个客户端通过连接应答处理器成功连接到服务器之后,服务器会将客户端套接字的AEREADABLE事件和命令请求处理器关联起来,当客户端向服务器发送命令请求的时候,套接字就会产生AEREADABLE事件,引发命令请求处理器执行,并执行相应的套接字读入操作。

在客户端连接服务器的整个过程中,服务器都会一直为客户端套接字的AEREADABLE事件关联命令请求处理器。

③命令回复处理器

networking.c/sendReplyToClient函数是Redis的命令回复处理器,这个处理器负责将服务器执行命令后得到的命令回复通过套接字返回给客户端,具体实现为unistd.h/write函数的包装。

当服务器有命令回复需要传送给客户端的时候,服务器会将客户端套接字的AEWRITABLE事件和命令回复处理器关联起来,当客户端准备好接收服务器传回的命令回复时,就会产生AEWRITABLE事件,引发命令回复处理器执行,并执行相应的套接字写服务器入操作。

当命令回复发送完毕之后,服务器就会解除命令回复处理器与客户端套接字的AEWRITABLE事件之间的关联。

(5)服务器与客户端连接、请求的完整过程

一个Redis服务器正在运作,服务器端的套接字监听AEREADABLE事件,该事件关联连接应答处理器。

这时有一个Redis客户端向服务器发起连接,那么监听套接字将产生AEREADABLE事件,触发连接应答处理器执行。连接应答处理器会对客户端的连接请求进行应答,然后创建一个客户端套接字,以及客户端状态redisClient,并将客户端套接字的AEREADABLE事件与命令请求处理器进行关联,使得客户端可以向主服务器发送命令请求。

然后,客户端向服务器发送一个命令请求,那么客户端套接字将产生AEREADABLE事件,引发命令请求处理器执行,处理器读取客户端的命令内容,然后传给相关程序去执行。

命令执行完毕后,服务器会将客户端套接字的AEWRITABLE事件与命令回复处理器进行关联,当客户端尝试读取命令回复的时候,客户端套接字将产生AEWRITABLE事件,触发命令回复处理器执行,当命令回复处理器将命令回复全部写人到套接字之后,服务器就会解除客户端套接字的AE WRITABLE事件与命令回复处理器之间的关联,等待下一次接收命令。

2.时间事件

(1)时间事件的组成

Redis的时间事件分为定时事件、周期事件两类,定时事件让程序在指定的时间之后执行一次。周期性事件让程序每隔指定时间就执行一次。时间事件主要由以下三个属性组成:

  • id: 服务器为时间事件创建的全局唯一ID,ID号按从小到大的顺序递增,新事件的ID号比旧事件的ID号要大。
  • when: 毫秒精度的UNX时间戳,记录了时间事件的到达(arrive)时间。
  • timeproc: 时间事件处理器,一个函数。当时间事件到达时,服务器就会调用相应的处理器来处理事件。

时间事件是定时事件还是周期性事件,取决于时间事件处理器的返回值:

  • 如果事件处理器返回ae.h/AENOMORE,那么这个事件为定时事件,该事件在达到一次之后就会被删除,之后不再到达。
  • 如果事件处理器返回一个非AENOMORE的整数值,那么这个事件为周期性时间当一个时间事件到达之后,服务器会根据事件处理器返回的值,对时间事件的when属性进行更新,让这个事件在一段时间之后再次到达,并以这种方式一直更新并运行下去。

(2)时间事件的实现

服务器将所有时间事件都放在一个无序链表(指不按时间排序)中,每当时间事件执行器运行时,它就遍历整个链表,查找所有已到达的时间事件,并调用相应的事件处理器。

因为链表没有按when属性进行排序,所以当时间事件执行器运行的时候,它必须遍历链表中的所有时间事件,这样才能确保服务器中所有已到达的时间事件都会被处理。

redis 时间轴 redis时间事件_redis 时间轴_03

无序链表并不影响时间事件处理器的性能,在目前版本中,正常模式下的Redis服务器只使用 serverCron一个时间事件,而在benchmark模式下,服务器也只使用两个时间事件。在这种情况下,服务器几乎是将无序链表退化成一个指针来使用,所以使用无序链表来保存时间事件,并不影响事件执行的性能。

(3)serverCorn函数

持续运行的Redis服务器需要定期对自身的资源和状态进行检查和调整,从而确保服务器可以长期、稳定地运行,这些定期操作由redis.c/serverCron函数负责执行,它的主要工作包括:

  • 更新服务器的各类统计信息,比如时间、内存占用、数据库占用情况等。
  • 清理数据库中的过期键值对。
  • 关闭和清理连接失效的客户端。
  • 尝试进行AOF或RDB持久化操作。
  • 如果服务器是主服务器,那么对从服务器进行定期同步。
  • 如果处于集群模式,对集群进行定期同步和连接测试。

在Redis2.6版本,服务器默认规定servercron每秒运行10次,平均每间隔100毫秒运行一次。用户可以通过修改hz选项来调整serverCron的每秒执行次数。

3.事件的调度与执行

服务器中同时存在文件事件和时间事件两种事件类型,服务器必须对这两种事件进行调度,决定何时应该处理文件事件,何时又应该处理时间事件,以及花多少时间来处理事件,事件的调度和执行由ae.c/aeProcessEvents函数负责,服务器运行调度流程如下。

redis 时间轴 redis时间事件_服务器_04

以下是事件的调度和执行规则:

  • aeApiPoll函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询(忙等待),也可以确保aeApiPoll函数不会阻塞过长时间。
  • 文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将再次等待并处理文件事件。当文件事件处理完毕时,发现有时间事件到达,这时服务器开始处理到达的时间事件。
  • 对文件事件和时间事件的处理都是同步、有序、原子地执行的,服务器不会中途中断事件处理,也不会对事件进行抢占,因此,不管是文件事件的处理器,还是时间事件的处理器,它们都会尽可地减少程序的阻塞时间,并在有需要时主动让出执行权,从而降低造成事件饥饿俄的可能性。比如说,在命令回复处理器将一个命令回复写人到客户端套接字时,如果写入字节数超过了一个预设常量的话,命令回复处理器就会主动用break跳出写入循环,将余下的数据留到下次再写;另外,时间事件也会将非常耗时的持久化操作放到子线程或者子进程执行。
  • 时间事件在文件事件之后执行,且事件之间不会出现抢占,所以时间事件的实际处理时间,通常会比时间事件设定的到达时间稍晚一些。