Redis从2.6版本开始引入对Lua脚本的支持,通过在服务器中嵌入Lua环境,Redis客户端可以使用Lua脚本,直接在服务器端原子地执行多个Redis命令。
1. 创建并修改Lua环境
为了在Redis服务器中执行Lua脚本,Redis在服务器内嵌了一个Lua环境,并对这个Lua环境进行了一系列修改,从而保证这个Lua环境可以满足Redis服务器的需求。
Redis服务器创建并修改Lua环境的整个过程由以下步骤组成:
1)创建一个基础的Lua环境,之后的所有修改都是针对这个环境进行的
2)载入多个函数库到Lua环境里,让Lua脚本可以使用这些函数库来进行数据操作
3)创建全局表格redis,这个表格包含了对Redis进行操作的函数,比如用于在Lua脚本中执行Redis命令的redis.call函数
4)使用Redis自制的随机函数来替换Lua原油的带有副作用的随机函数,从而避免在脚本中引入副作用
5)创建排序辅助函数,Lua环境使用这个辅助函数来对一部分Redis命令的结果进行排序,从而消除这些命令的不确定性
6)创建redis.pcall函数的错误报告辅助函数,这个函数可以提供更详细的的出错信息
7)对Lua环境中的全局环境进行保护,防止用户在执行Lua脚本的过程中,将额外的全局变量添加到Lua环境中
8)将完成修改的Lua环境保存到服务器状态的lua属性中,等待执行服务器传来的Lua脚本
1.1 创建Lua环境
服务器首先调用Lua的C API函数lua_open,创建一个新的Lua环境。
因为lua_open函数创建的只是一个基本的Lua环境,为了让这个Lua环境可以满足Redis的操作要求,接下来服务器将对这个Lua环境进行一系列修改
1.2 载入函数库
Redis修改Lua环境的第一步,就是将一下函数库载入到Lua环境里:
1)基础库
2)表格库
3)字符串库
4)数学库
5)调试库
6)Lua CJSON库
7)Struct库
8)Lua cmsgpack库
通过这些函数库,Lua脚本可以直接对函数Redis命令获得的数据进行复杂操作
1.3 创建redis全局表格
在这一步,服务器将在Lua环境中创建一个redis表格,并将它设为全局变量。这个redis表格包含以下函数:
1)用于执行Redis命令的redis.call和redis.pcall函数
2)用于记录Redis日志的redis.log函数,以及相应的日志级别常量:redis.LOG_DEBUG,redis.LOG_VERBOSE,redis.LOG_NOTICE,redis.LOG_WARNING
3)用于计算SHA1校验和的redis.sha1hex函数
4)用于返回错误信息的redis.error_reply函数和redis.status_reply函数
1.4 使用Redis自制的随机函数来替换Lua原有的随机函数
为了保证相同的脚本可以在不同的机器上产生相同的结果,Redis要求所有传入服务器的Lua脚本,以及Lua环境中的所有函数,都必须是无副作用的纯函数。
但是,在之前载入Lua环境的math函数库中,用于生成随机数的math.random函数和math.randomseed函数都是带有副作用的,不适合。
所以,要使用Redis自制的函数替换math库中原有的math.random函数和math.randomseed函数,替换之后的两个函数有以下特征:
1)对于相同的seed来说,math.random总产生相同的随机数序列,这个函数是一个纯函数
2)除非在脚本中使用math.randomseed显式地修改seed,否则每次运行脚本时,Lua环境都使用固定的math.randomseed(0)语句来初始化seed
1.5 创建排序辅助函数
对于Lua脚本来说,另一个可能产生不一致数据的地方是那些带有不确定性质的命令。比如一个集合键,因为集合元素的排序是无序的,所以即使两个集合的元素完全相同,它们的输出结果可能也不相同。
Redis将SMEMBERS这种在相同数据集上可能产生不同输出的命令称为“带有不确定性的命令”,这些命令包括:
SINTER、SUNION、SDIFF、SMEMBERS、HKEYS、HVALS、KEYS
为了消除这些命令带来的不确定性,服务器会为Lua环境创建一个排序辅助函数__redis__compare_helper,当Lua脚本执行完一个带有不确定性的命令之后,程序会使用__redis__compare_helper作为对比函数,自动调用table.sort函数对命令的返回值做一次排序,以此保证相同的数据集总是产生相同的输出。
1.6 创建redis.pcall函数的错误报告辅助函数
服务器将为Lua环境创建一个名为__redis__error__handler的错误处理函数,当脚本调用redis.pcall函数执行Redis命令,并且被执行的命令出现错误时,__redis__error__handler就会打印出错代码的来源和发生错误的行数,为程序调试提供方便。
1.7 保护Lua的全局环境
服务器将对Lua环境中的全局环境进行保护,确保传入服务器的脚本不会因为忘记使用local关键字而将额外的全局变量添加到Lua环境里面。
因为全局变量保护的原因,当一个脚本试图创建一个全局变量时,服务器将报错。除此之外,试图获取一个不存在的全局变量也会引发一个错误。
不过Redis并未禁止用户修改已存在的全局变量,所以在执行Lua脚本的时候,必须非常小心,以免错误的修改已存在的全局变量。
1.8 将Lua环境保存到服务器状态的lua属性里面
经过一系列的修改,Redis服务器对Lua环境的修改工作到此结束,最后,服务器会将Lua环境和服务器状态的lua属性关联起来。
因为Redis使用串行化的方式来执行Redis命令,所以在任何特定时间里,最多只会有一个脚本能够被放进Lua环境里面运行,因此,整个Redis服务器只需要创建一个Lua环境即可。
2.Lua环境协作组件
除了创建并修改Lua环境之外,Redis服务器还创建了两个用于与Lua环境进行协作的组件,它们分别是负责执行Lua脚本中的Redis命令的伪客户端,以及用于保存Lua脚本的lua_scripts字典
2.1伪客户端
因为执行Redis命令必须有相应的客户端状态,所以为了执行Lua脚本中包含的Redis命令,Redis服务器专门为Lua环境创建了一个伪客户端,并由这个伪客户端负责处理Lua脚本中包含的所有Redis命令。
Lua脚本使用redis.call函数或者redis.pcall函数执行一个Redis命令,需要完成以下步骤:
1)Lua环境将redis.call函数或者redis.pcall函数想要执行的命令传给伪客户端
2)伪客户端将脚本想要执行的命令传给命令执行器
3)命令执行器执行伪客户端传给他的命令,并将命令的执行结果返回给伪客户端
4)伪客户端接收命令执行器返回的命令结果,并将这个命令结果返回给Lua环境
5)Lua环境在接收到命令结果之后,将该结果返回给redis.call函数或者redis.pcall函数
6)接收到结果的redis.call函数或者redis.pcall函数会将命令结果作为函数返回值返回给脚本中的调用者
2.2 lua_scripts字典
除了伪客户端之外,Redis服务器为Lua环境创建的另一个协作组件是lua_scripts字典,这个字典的键为某个Lua脚本的SHA1校验和,而字典的值是SHA1校验和相对应的Lua脚本:
struct redisServer{
//...
dict *lua_scripts;
//...
};
Redis服务器会将所有被EVAL命令执行过的Lua脚本,以及所有被SCRIPT LOAD命令载入过的Lua脚本都保存到lua_scripts字典里。
lua_scripts字典有两个作用:一个是实现SCRIPT EXISTS命令,另一个是实现脚本复制功能
3.EVAL命令的实现
EVAL命令的执行可以分为三个步骤:
1)根据客户端给定的Lua脚本,在Lua环境下定义一个Lua函数
2)将客户端给定的脚本保存到lua_scripts字典,等待将来进一步使用
3)执行刚刚在Lua环境中定义的函数,以此来执行客户端给定的Lua脚本
3.1 定义脚本函数
当客户端向服务器发送EVAL命令,要求执行某个Lua脚本的时候,服务器首先要做的就是在Lua环境中,为传入的脚本定义一个与这个脚本相对应的Lua函数,其中,Lua函数的名字由f_前缀加上脚本的SHA1校验和(40个字符长)组成,而函数的体则是脚本本身。
使用函数来保存客户端传入的脚本有以下好处:
1)执行脚本的步骤非常简单,只需要调用与脚本相对应的函数即可
2)通过函数的局部性来让Lua环境保持清洁,减少了垃圾回收的工作量,并且避免使用了全局变量
3)如果某个脚本所对应的的函数在Lua环境中贝定义过至少一次,那么只需要记得这个脚本的SHA1校验和,服务器就可以在不知道脚本本身的情况下,直接调用Lua函数来执行脚本,这就是EVALSHA命令的实现原理
3.2 将脚本保存到lua_scripts字典
EVAL命令要做的第二件事就是将客户端传入的脚本保存到服务器的lua_scripts字典里面
3.3 执行脚本函数
在为脚本定义函数,并且将脚本保存到lua_scripts字典之后,服务器还需要进行一些设置钩子,传入参数之类的准备动作,才能正式开始执行脚本。整个准备和执行脚本的过程如下:
1)将EVAL命令中传入的键名参数和脚本参数分别保存到KEYS数组和ARGV数组,然后将这两个数组作为全局变量传入到Lua环境里面
2)为Lua环境装载超时处理钩子(hook),这个钩子可以在脚本出现超时运行情况时,让客户端通过SCRIPT KILL命令停止脚本,或者通过SHUTDOWN命令直接关闭服务器
3)执行脚本函数
4)移除之前装载的超时钩子
5)将执行脚本函数所得的结果保存到客户端状态的输出缓冲区里,等待服务器将结果返回客户端
6)对Lua环境执行垃圾回收操作
4.EVALSHA命令的实现
只要脚本对应的函数曾经在Lua环境里面定义过,那么即使不知道脚本的内容本身,客户端也可以根据脚本的SHA1校验和来调用脚本对应的函数,从而达到执行脚本的目的。这就是EVALSHA命令的实现原理。
5.脚本管理命令的实现
除了EVAL和EVALSHA命令之外,Redis中与Lua脚本有关的命令还有四个,分别是SCRIPT FLUSH、SCRIPT EXISTS、SCRIPT LOAD、SCRIPT KILL
5.1 SCRIPT FLUSH
SCRIPT FLUSH用于清除服务器中所有和Lua脚本有关的信息。这个命令会释放并重建lua_scripts字典,关闭现有的Lua环境并重新创建一个新的Lua环境
5.2 SCRIPT EXISTS
SCRIPT EXISTS根据输入的SHA1校验和,检查校验和对应的脚本是否存在于服务器中。
SCRIPT EXISTS命令时通过检查给定的校验和是否存在于lua_scripts字典来实现的
5.3 SCRIPT LOAD
SCRIPT LOAD命令所做的事情和EVAL命令执行脚本时所做的前两步完全一样:命令首先在Lua环境中为脚本创建相应的函数,然后再将脚本保存到lua_scripts字典里。
5.4 SCRIPT KILL
如果服务器设置了lua-time-limit配置选项,那么在每次执行Lua脚本之前,服务器都会在Lua环境里面设置一个超时处理钩子(hook)。
超时处理钩子在脚本运行期间,会定期检查脚本已经运行了多长时间,一旦钩子发现脚本的运行时间已经超过了lua-time-limit选项设置的时长,钩子将定期在脚本运行的间隙中,查看是否有SCRIPT KILL或者SHUTDOWN命令。
如果超市运行的脚本未执行过任何写入操作,那么客户端可以通过SCRIPT KILL来指示服务器停止执行这个脚本,并向执行该脚本的客户端发送一个错误回复。处理完SCRIPT KILL之后,服务器继续运行。
如果脚本执行过了写入命令,那么客户端只能用SHUTDOWN nosave命令来停止服务器,从而防止不合法的数据写入数据库中。
6.脚本复制
和其他普通Redis命令一样,当服务器运行在复制模式下时,具有写性质的脚本命令也会被复制到从服务器,这些命令包括EVAL、EVALSHA、SCRIPT FLUSH、SCRIPT LOAD
6.1 复制EVAL、SCRIPT FLUSH、SCRIPT LOAD
Redis复制EVAL、SCRIPT FLUSH、SCRIPT LOAD三个命令的方法和复制其他普通Redis命令的方法一样。当主服务器执行完以上三个命令之一时,主服务器就会直接将被执行的命令传播给所有从服务器,从服务器均执行这些命令
6.2 复制EVALSHA命令
EVALSHA命令是所有与Lua脚本有关的命令中,复制操作最复杂的一个,因为主服务器与从服务器载入Lua脚本的情况可能有所不同,所以主服务器不能像复制其他命令一样,直接将EVALSHA命令传播给从服务器。对于一个在主服务器被成功执行的EVALSHA命令来说,在从服务器执行的时候可能出现脚本未找到错误。
更为复杂的是,因为多个从服务器之间载入Lua脚本的情况也不相同,所以即使一个EVALSHA命令可以在某个从服务器成功执行,也不代表可以在另一个从服务器成功执行。
为了防止出错,Redis要求主服务器在传播EVALSHA命令的时候,必须确保EVALSHA命令要执行的脚本已经被所有从服务器载入过,如果不能确保这一点,主服务器会将EVALSHA命令转换成一个等价的EVAL命令,然后通过传播EVAL来代替EVALSHA命令。
6.2.1 判断传播EVALSHA命令是否安全的方法
主服务器使用服务器状态的repl_scriptcache_dict字典记录自己已经将哪些脚本传播给了所有从服务器:
struct redisServer{
//...
dict *repl_scriptcache_dict;
//...
};
repl_scriptcache_dict字典的键时一个个Lua脚本的SHA1校验和,而字典的值则全部都是NULL。当一个校验和出现在repl_scriptcache_dict字典时,说明这个校验和对应的Lua脚本已经传播给了所有从服务器,主服务器可以直接向从服务器传播包含这个SHA1校验和的EVALSHA命令。
另一方面,如果一个脚本的SHA1校验和存在于lua_scripts字典,但是却不存在于repl_scriptcache_dict字典,那么说明校验和对应的Lua脚本已经被主服务器载入,但是还没有传播给所有从服务器。
6.2.2 清空repl_scriptcache_dict字典
每当主服务器添加一个新的从服务器时,主服务器都会清空自己的repl_scriptcache_dict字典,这是因为随着新从服务器的出现,repl_scriptcache_dict字典字典里面记录的脚本已经不再被所有从服务器载入过,所以会清空repl_scriptcache_dict字典。
6.2.3 EVALSHA命令转换成EVAL命令的方法
通过使用EVALSHA命令指定的SHA1校验和,以及lua_scripts字典保存的Lua脚本,服务器可以讲一个EVALSHA命令转换成一个等价的EVAL命令:
EVALSHA <sha1> <numkeys> <key ...> <arg ...>
EVAL <script> <numkeys> <key ...> <arg ...>
1)根据SHA1校验和sha1,在lua_scripts字典中查找sha1对应的Lua脚本script
2)将原来EVALSHA命令请求改写成EVAL命令请求,并且将校验和sha1改成脚本script,至于number、key、arg等参数保持不变
如果一个SHA1值所对应的Lua脚本没有被所有从服务器载入过,那么主服务器可以将EVALSHA命令转换成等价的EVAL命令,然后通过传播等价的EVAL命令代替EVALSHA产生相同的效果。
另外,如果主服务器在传播完EVAL命令之后,会将被传播脚本的SHA1校验和添加到repl_scriptcache_dict字典里,如果之后EVALSHA命令再次指定这个SHA1校验和,主服务器可以直接传播EVALSHA命令,而不需要转换。
6.2.4 传播EVALSHA命令的方法
当主服务器成功在本机执行完一个EVALSHA命令之后,它将根据EVALSHA命令指定的SHA1校验和是否存在于repl_scriptcache_dict字典来决定事项从服务器传播EVALSHA命令还是EVAL命令:
1)存在,传播EVALSHA命令
2)不存在,将EVALSHA转化成EVAL,然后传播EVAL,并将EVALSHA指定的SHA1校验和添加到repl_scriptcache_dict字典