1.数据库结构
Redis服务器将所有数据都保存在服务器状态redis.h/redisServer结构的db数组中,db数组的每个元素都是一个redis.h/redisDb结构,每个redisDb结构代表一个数据库,在初始化服务器时,程序会根据服务器状态的dbnum属性来决定应该创建多少个数据库。dbnum属性的值由服务器配置的database选项决定,默认为16。
struct redisServer{
// 一个数组,保存着服务器中的
redisDb *db;
// 服务器的数据库数量
int dbnum;
};
2.切换数据库
每个Redis客户端都有自己的目标数据库,默认情况下,Redis客户端的目标数据库为0号数据库,客户端可以通过执行SELECT命令来切换目标数据库,如下命令切换目标数据库为1号数据库。
SELECT 1
客户端状态redisClient结构的db属性,指向了客户端当前的目标数据库的redisDb结构,通过修改redisClient.db指针,让它指向服务器中的不同数据库,从而实现切换目标数据库的功能,就是SELECT命令的实现原理。redisClient的结构如下:
typedef struct redisClient{
// 记录客户端当前正在使用的数据库
redisDb *db;
}redisClient;
Redis目前没有可以返回客户端目标数据库序号的命令,虽然redis-cli客户端会在输入符旁边提示当前所使用的目标数据库,但在其他语言的客户端中执行Redis命令时,很可能会忘记自己当前正在使用的是哪个数据库。为了避免对数据库进行误操作,在执行Redis命令之前,最好使用SELECT命令显式地切换到指定的数据库,然后才执行命令。
3.键空间
(1)键空间结构
Redis中的每个数据库都由一个redis.h/redisDb结构表示,其中,redisDb结构的dict字典保存了数据库中的所有键值对,我们将这个字典称为键空间。键空间中每个键都是一个字符串对象,值可以是字符串对象、列表对象、哈希表对象、集合对象和有序集合对象中的任意一种Redis对象。
redisDb的结构及示例如下:
typedef struct redisDb{
// 数据库键空间,保存着数据库中的所有键值对
dict *dict;
// 过期字典,保存着键的过期时间
dict *expires;
}redis Db;
(2)键空间操作
在键空间中取出键所对应的值对象,根据值对象的类型不同,具体的取值方法也会有所不同。例如,GET命令将首先在键空间中查找键message,找到键之后接着取得该键所对应的字符串对象值,之后再返回值对象所包含的字符串"hello world"。
除了增删改查等操作外,还有很多针对数据库本身的Redis命令,也是通过对键空间进行处理来完成的。例如,清空数据库的FLUSHDB命令,是通过删除键空间中的所有键值对来实现的;用于返回数据库键数量的DBSIZE命令,是通过返回键空间中包含的键值对的数量来实现的;还有 EXISTS、RENAME、KEYS等。
(3)键空间的维护操作
redis运行期间,不仅会对键空间执行指定的读写操作,还会执行一些额外的维护操作,包括:
- 访问一个键之后,服务器会根据键是否存在来更新服务器的键空间被命中次数、未被命中次数,这两个值可以在INFO stats命令中的keyspace hits、keyspace misses属性中查看。
- 在读取一个键之后,服务器会更新键的LRU(最后一次使用)时间,这个值可以用于计算键的闲置时间,使用OBJECT IDLETIME命令可以查看键key的闲置时间。
- 如果服务器在读取一个键时发现该键已经过期,那么服务器会先删除这个过期键,然后才执行余下的其他操作。
- 如果有客户端使用WATCH命令监视了某个键,那么服务器在对被监视的键进行修改之后,会将这个键标记为脏(dirty),从而让事务程序注意到这个键已经被修改过。
- 服务器毎次修改一个键之后,都会对脏键计数器的值增1,这个计数器会触发服务器的持久化以及复制操作。
- 如果服务器开启了数据库通知功能,那么在对键进行修改之后,服务器将按配置发送相应的数据库通知。
4.过期字典
(1)键过期原理
redisDb结构中的expires字典(过期字典)保存了数据库中所有键及过期时间,过期字典的键是一个指针,指向键空间中的某个键对象,过期字典的值是一个long类型的整数,一个毫秒精度的UNIX时间戳,保存了键对象的过期时间。通过过期字典,程序用以下步骤检査给定键是否过期:
- 检査给定键是否存在于过期字典:如果存在,那么取得键的过期时间。
- 检查当前UNX时间戳是否大于键的过期时间,如果是,键已经过期;否则的话,键未过期。
(2)设置/解除键过期
设置剩余时间:通过EXPIRE命令或PEXPIRE命令设置键的生存时间,客户端可以以秒或者毫秒精度为某个键设置生存时间(Time To Live,TTL),在经过指定的秒数或者毫秒数之后,服务器就会自动删除生存时间为0的键。
设置过期时间点:通过EXPIREAT命令或PEXPIREAT命令,以秒或者毫秒精度给数据库中的某个键设置过期时间。过期时间是一个unix时间戳,当到达过期时间,服务器就会从数据库中删除这个键。
实际上EXPIRE、PEXPIRE、EXPIREAT个命令都是使用PEXPIREAT命令来实现的,无论客户端执行的是以上哪一个命令,经过转换之后,最终的执行效果都和执行PEXPIREAT命令一样。
SETEX命令可以在设置一个字符串键的同时为键设置过期时间,但这个命令只能用于字符串键,SETEX命令设置过期时间的原理和EXPIRE是完全一样的。
TTL命令和PTTL命令接受一个带有生存时间或者过期时间的键,返回这个键的剩余生存时间,这两个命令是通过计算键的过期时间和当前时间之间的差来实现的。
PERSIST命令是PEXPIREAT命令的反操作,使键永不过期,PERSIST命令在过期字典中查找给定的键,并解除键和值在过期字典中的关联。
EXPIRE 5;
EXPIREAT 1377257300;
SETEX mykey 60 myvalue;
TTL mykey;
PERSIST mykey;
5.过期键删除策略
(1)删除策略种类
过期键删除策略有三种:定时删除、惰性删除、定期删除。定时删除、定期删除是主动删除策略,惰性删除是被动删除策略。
定时删除: 在设置键的过期时间的同时,创建一个定时器(timer),让定时器在键的过期时间来临时,立即执行对键的删除操作。
定时删除策略对内存是最友好的,通过使用定时器,定时删除策略可以保证过期键会尽可能快地被删除,并释放过期键所占用的内存。定时删除策略的缺点是,它对CPU时间是最不友好的,在过期键比较多的情况下,删除过期键这一行为可能会占用相当一部分CPU时间,在内存不紧张但是CPU时间非常紧张的情况下,将CPU时间用在删除和当前任务无关的过期键上,无疑会对服务器的响应时间和吞吐量造成影响。
此外,为每一个过期键创建一个定时器需要用到Redis服务器中的时间事件,而时间事件采用无序链表实现,查找一个事件的时间复杂度为O(N),并不能高效地处理大量时间事件。因此,要让服务器创建大量的定时器,实现定时删除策略,效率较低。
惰性删除: 放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
惰性删除策略对CPU时间来说是最友好的,程序只会在取出键时才对键进行过期检査,这可以保证删除过期键的操作只会在非做不可的情况下进行,并且删除的目标仅限于当前处理的键,这个策略不会在删除其他无关的过期键上花费任何CPU时间。惰性删除策略的缺点是,它对内存是最不友好的:如果一个键已经过期,而这个键又仍然保留在数据库中,那么只要这个过期键不被删除,它所占用的内存就不会释放。
在使用惰性删除策略时,可能存在大量的过期键存在的现象,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,可能造成比较严重的后果。
定期删除: 每隔一段时间,程序就对数据库进行一次检査,删除里面的过期键。至于要删除多少过期键,以及要检查多少个数据库,则由算法决定。
定期删除策略是定时删除、惰性删除策略的一种整合和折中方案,定期删除策略每隔一段时间执行一次删除过期键操作,并通过限制执行的时长和频率来减少删除操作对CPU时间的影响。此外,定期删除策略有效地减少了因为过期键而带来的内存浪费。
定期删除策略的难点是确定删除操作执行的时长和频率,如果删除操作执行得太频繁,或者执行的时间太长,定期删除策略就会退化成定时删除策略,以至于将CPU时间过多地消耗在删除过期键上面;如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现浪费内存的情况。
因此,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。
(2)Redis过期键删除的实现
Redis服务器实际使用的是惰性删除和定期删除两种策略:通过配合使用这两种删除策略,服务器可以很好地在合理使用CPU时间和避免浪费内存空间之间取得平衡。
惰性删除策略的实现
过期键的惰性删除策略由db.c/expireIfNeeded函数实现,所有读写数据库的Redis命令在执行之前都会调用expireIfNeeded函数对输入键进行检查。如果输人键已经过期,那么expireIfNeeded函数将输人键从数据库中删除。如果输入键未过期,那么expireIfNeeded函数不做动作,继续执行Redis命令。
定期删除策略的实现
过期键的定期删除策略由redis.c/activeExpireCycle函数实现,每当Redis的服务器周期性操作 redis.c/servercron函数执行时,activeExpireCycle函数就会被调用,它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库的expires字典中随机检查一部分键的过期时间,并删除其中的过期键。activeExpireCycle函数的工作模式如下:
- 函数每次运行时,都从一定数量的数据库中取出一定数量的随机键进行检查,并删除其中的过期键。
- 全局变量current_db会记录当前activeExpireCycle函数检查的进度,并在下一次函数调用时,接着上一次的进度进行处理。比如,当前activeExpireCycle函数在遍历10号数据库时返回了,那么下次函数执行时,将从11号数据库开始査找并删除过期键。
- 随着activeExpireCycle函数的不断执行,服务器中的所有数据库都会被检查一遍,这时函数将current_db变量重置为0,然后再次开始新一轮的检查工作。
6.键过期对RDB、AOF、复制的影响
(1)对RDB的影响
生成RDB文件
在执行SAVE命令或者BGSAVE命令创建一个新的RDB文件时,程序会对数据库中的键进行检查,已过期的键不会被保存到新创建的RDB文件中。因此,数据库中包含过期键不会对生成新的RDB文件造成影响。
载入RDB文件
在启动Redis服务器并开启了RDB功能,那么服务器将对RDB文件进行载入:
- 如果服务器以主服务器模式运行,那么在载入RDB文件时,程序会对文件中保存的键进行检査,未过期的键会被载入到数据库中,而过期键则会被忽略,所以过期键对载入RDB文件的主服务器不会造成影响。
- 如果服务器以从服务器模式运行,那么在载入RDB文件时,文件中保存的所有键,不论是否过期,都会被载入到数据库中。不过,因为主从服务器在进行数据同步的时候,从服务器的数据库就会被清空,所以一般来讲,过期键对载入RDB文件的从服务器也不会造成影响。
(2)对AOF的影响
写入AOF
如果数据库中的某个键已经过期,但它还没有被惰性删除或者定期删除,那么AOF文件不会因为这个过期键而产生任何影响。当过期键被惰性删除或者定期删除之后,程序会向AOF文件追加(append)一条DEL命令,来显式地记录该键已被删除。
AOF重写
和生成RDB文件时类似,在执行AOF重写的过程中,程序会对数据库中的键进行检查,已过期的键不会被保存到重写后的AOF文件中。因此,数据库中包含过期键不会对AOF重写造成影响。
(3)对主从复制的影响
当服务器运行在复制模式下时,从服务器的过期键删除动作由主服务器控制,规则如下:
- 主服务器在删除一个过期键之后,会显式地向所有从服务器发送一个DEL命令,告知从服务器删除这个过期键。
- 从服务器在执行客户端发送的读命令时,即使碰到过期键也不会将过期键删除,而是继续像处理未过期的键一样来处理过期键。
- 从服务器只有在接到主服务器发来的DEL命令之后,才会删除过期键。
通过由主服务器来控制从服务器统一地删除过期键,可以保证主从服务器数据的一致性,也正是因为这个原因,当一个过期键仍然存在于主服务器的数据库时,这个过期键在从服务器里的复制品也会继续存在。