这一节我们讲解redis的键值驱逐策略,当我们redis内存耗尽或即将耗尽时redis数据库会发生什么?这取决于我们的键驱逐策略配置:maxmemory-policy。
我们使用以下命令清除redis数据库并设置最大内存为1MB方便我们后续测试:
redis > flushall #清除redis数据
ok
redis > config set maxmemory 1mb #最大内存为1MB
ok
我们使用Python编写一个函数向redis添加随机键值对
>>> import uuid
>>> def adduuid(redisIns)
redisKey="uuid:{}".format(redisIns.incr("global:uuid"))
redisIns.set(redisKey,uuid.uuid4())
noevicition(永不驱逐)策略
默认的maxmemory-policy策略是永不驱逐(noevicition),没有可使用内存时,如果redis尝试写入数据就会返回错误,我们可以在redis-cli会话中使用CONFIG SET命令来查看配置项:
redis > config get maxmemory #查看redis最大内存
1) "maxmemory"
2) "1073741824"
redis > config get maxmemory-policy #查看键的驱逐策略
1) "maxmemory-policy"
2) "noevicition" #永不驱逐
现在我们来测试一下,调用adduuid函数一直添加键值对直到redis报错:
>>>while 1:
adduuid(redisIns)
很快我们收到一个报错信息:
redis.exceptions.ResponseError,OOM command not allowed when used memory >'maxmemory'
如果想查看内存使用情况可以使用info memory命令:
redis> info memory
# Memory
...
used_memory_human:1.00M #redis分配的内存大小
used_peak_human:1.00M #redis使用峰值内存
...
maxmemory_human:1.00M #redis总内存
maxmemory_policy:noevicition #键的驱逐策略
...
当redis无可用内存时,任何写操作(set、incr、sadd、hset等)都将收到内存OOM错误。
LRU(Least Recently Used)策略
即最近最少使用的策略,在redis所有键或设置了过期时间的键上驱逐数据,其设计思想是"如果一个数据最近被访问过,那么它将来被访问的概率也会提高",常用的做法是使用链表来保存数据:
常用的LRU实现
分为以下2种:
- volatile-lru:当redis耗尽内存时,它在设置了超时的键上应用LRU策略,将最近较少使用的驱逐出去,即便那些键还有剩余时间。
- allkeys-lru:和volatile-lru不同的是,他在所有的键上应用LRU策略,而不区分是否设置了超时时间
我们可以通过config set命令来设置驱逐策略
redis > config set maxmemory-policy volatile-lru #设置键的驱逐策略
redis > info memory
# Memory
...
maxmemory_policy : volatile-lru #键的驱逐策略
这里我们需要注意的是LRU策略是一种不准确的算法,redis不会自动选择最佳的键来驱逐,而是默认选择5个候选键样本并驱逐当中最少使用的那个。如果想提高LRU算法的精确性,我们可以修改配置文件redis.conf中的
指令,也可以在redis命令行执行 CONFIG SET maxmemory-samples <count> 命令设置样本数量,当然提高了样本数量自然会消耗redis更多的cpu资源!这需要你根据自身业务来调整。
LFU(Least Frequently Used)策略
LFU是在Redis4.0后出现的,即根据使用频率在redis所有键或设置了过期时间的键上驱逐数据
- volatile-lfu:在所有设置了期时间键中驱逐使用频率最少的键
- allkeys-lfu:在所有键中驱逐使用频率最少的键
具体实现如下:将使用频率高的数据排到队列头部,优先淘汰尾部数据
常用LFU实现
random(随机)策略
使用随机策略在redis所有键或设置了过期时间的键上驱逐数据
- volatile-random:在设置了过期时间的键上随机驱逐
- allkeys-random:在所有键上随机驱逐
volatile-ttl(剩余时间)策略
和其他volatile类型策略类似,每当新的redis键值对加入时,剩余时间最少的redis键将会被驱逐。
最后要说的一点是当你和我一样有困难选择症的话allkeys-lru策略是一个很好的初始选择,因为大多数情况下redis的数据热点都是遵循幂律分布的原则也就是一部分数据访问频率高,一部分数据访问频率低,比如二八原则,80%的数据都是访问较少的,20%的数据访问频率很高。
- 数据热点呈现幂律分布,则推荐使用allkeys-lru。
- 数据热点呈现平等分布,也就是访问频率都差不多,则推荐使用allkeys-random。
作者:懂点IT