这一节我们讲解redis的键值驱逐策略,当我们redis内存耗尽或即将耗尽时redis数据库会发生什么?这取决于我们的键驱逐策略配置:maxmemory-policy。

我们使用以下命令清除redis数据库并设置最大内存为1MB方便我们后续测试:

redis > flushall  #清除redis数据
ok
redis > config set maxmemory 1mb #最大内存为1MB
ok

我们使用Python编写一个函数向redis添加随机键值对

>>> import uuid
>>> def adduuid(redisIns)
 redisKey="uuid:{}".format(redisIns.incr("global:uuid"))
 redisIns.set(redisKey,uuid.uuid4())

noevicition(永不驱逐)策略

redis 数据清楚 redis数据清理策略_redis 数据清楚

默认的maxmemory-policy策略是永不驱逐(noevicition),没有可使用内存时,如果redis尝试写入数据就会返回错误,我们可以在redis-cli会话中使用CONFIG SET命令来查看配置项:

redis > config get maxmemory #查看redis最大内存
1) "maxmemory"
2) "1073741824"

redis > config get maxmemory-policy #查看键的驱逐策略
1) "maxmemory-policy"
2) "noevicition" #永不驱逐

现在我们来测试一下,调用adduuid函数一直添加键值对直到redis报错:

>>>while 1:
 adduuid(redisIns)

很快我们收到一个报错信息:
redis.exceptions.ResponseError,OOM command not allowed when used memory >'maxmemory'

如果想查看内存使用情况可以使用info memory命令:

redis> info memory 
# Memory
...
used_memory_human:1.00M #redis分配的内存大小
used_peak_human:1.00M #redis使用峰值内存
...
maxmemory_human:1.00M  #redis总内存
maxmemory_policy:noevicition #键的驱逐策略
...

当redis无可用内存时,任何写操作(set、incr、sadd、hset等)都将收到内存OOM错误。

redis 数据清楚 redis数据清理策略_sed_02

LRU(Least Recently Used)策略

最近最少使用的策略,在redis所有键或设置了过期时间的键上驱逐数据,其设计思想是"如果一个数据最近被访问过,那么它将来被访问的概率也会提高",常用的做法是使用链表来保存数据:

redis 数据清楚 redis数据清理策略_sed_03

常用的LRU实现

分为以下2种:

  • volatile-lru:当redis耗尽内存时,它在设置了超时的键上应用LRU策略,将最近较少使用的驱逐出去,即便那些键还有剩余时间。
  • allkeys-lru:和volatile-lru不同的是,他在所有的键上应用LRU策略,而不区分是否设置了超时时间

我们可以通过config set命令来设置驱逐策略

redis > config set maxmemory-policy volatile-lru #设置键的驱逐策略
redis >  info memory 
# Memory
...
maxmemory_policy : volatile-lru #键的驱逐策略

这里我们需要注意的是LRU策略是一种不准确的算法,redis不会自动选择最佳的键来驱逐,而是默认选择5个候选键样本并驱逐当中最少使用的那个。如果想提高LRU算法的精确性,我们可以修改配置文件redis.conf中的

指令,也可以在redis命令行执行 CONFIG SET maxmemory-samples <count> 命令设置样本数量,当然提高了样本数量自然会消耗redis更多的cpu资源!这需要你根据自身业务来调整。

LFU(Least Frequently Used)策略

LFU是在Redis4.0后出现的,即根据使用频率在redis所有键或设置了过期时间的键上驱逐数据

  • volatile-lfu:在所有设置了期时间键中驱逐使用频率最少的键
  • allkeys-lfu:在所有键中驱逐使用频率最少的键

具体实现如下:将使用频率高的数据排到队列头部,优先淘汰尾部数据

redis 数据清楚 redis数据清理策略_redis_04

常用LFU实现

random(随机)策略

使用随机策略在redis所有键或设置了过期时间的键上驱逐数据

  • volatile-random:在设置了过期时间的键上随机驱逐
  • allkeys-random:在所有键上随机驱逐

volatile-ttl(剩余时间)策略

和其他volatile类型策略类似,每当新的redis键值对加入时,剩余时间最少的redis键将会被驱逐。

最后要说的一点是当你和我一样有困难选择症的话allkeys-lru策略是一个很好的初始选择,因为大多数情况下redis的数据热点都是遵循幂律分布的原则也就是一部分数据访问频率高,一部分数据访问频率低,比如二八原则,80%的数据都是访问较少的,20%的数据访问频率很高。

redis 数据清楚 redis数据清理策略_redis_05

  • 数据热点呈现幂律分布,则推荐使用allkeys-lru。
  • 数据热点呈现平等分布,也就是访问频率都差不多,则推荐使用allkeys-random。

作者:懂点IT