目录

  • reids清除原因
  • LRU算法概述
  • 常用设置
  • 缓存清理流程
  • redis的LRU近似算法


reids清除原因

  1. 多级缓存架构，缓存数据生产服务，监听各个数据源服务的数据变更的消息，得到消息之后，然后调用接口拉去数据。
  2. 将拉取到的数据，写入本地ehcache缓存一份，写入redis分布式缓存中一份，你不断的将数据写入redis，而redis的内存是有限的，每个redis实例最大一般也就是设置给10G。
  3. 那如果你不断的写入数据，当数据写入的量超过了redis能承受的范围之后，redis就会将数据进行一定的清理，从内存中清理掉一些数据
  4. 只有清理掉一些数据之后，才能将新的数据写入内存中

LRU算法概述

  1. redis默认情况下就是使用LRU策略的，因为内存是有限的，但是如果你不断地往redis里面写入数据，那肯定是没法存放下所有的数据在内存的。
  2. 所以redis默认情况下，当内存中写入的数据很满之后，就会使用LRU算法清理掉部分内存中的数据，腾出一些空间来，然后让新的数据写入redis缓存中
  3. LRU：Least Recently Used，最近最少使用算法

将最近一段时间内，最少使用的一些数据，给干掉。比如说有一个key，在最近1个小时内，只被访问了一次; 还有一个key在最近1个小时内，被访问了1万次，这个时候比如你要将部分数据给清理掉，你会选择清理哪些数据啊？肯定是那个在最近小时内被访问了1万次的数据

常用设置

redis.conf

  1. maxmemory：设置redis用来存放数据的最大的内存大小，一旦超出这个内存大小之后，就会立即使用LRU算法清理掉部分数据。

对于64 bit的机器，如果maxmemory设置为0，那么就默认不限制内存的使用，直到耗尽机器中所有的内存为止; 但是对于32 bit的机器，有一个隐式的闲置就是3GB

  1. maxmemory-policy：可以设置内存达到最大闲置后，采取什么策略来处理
  • noeviction： 如果内存使用达到了maxmemory，client还要继续写入数据，那么就直接报错给客户端
  • allkeys-lru： 就是我们常说的LRU算法，移除掉最近最少使用的那些keys对应的数据；
  • volatile-lru： 也是采取LRU算法，但是仅仅针对那些设置了指定存活时间（TTL）的key才会清理掉
  • allkeys-random： 随机选择一些key来删除掉
  • volatile-random： 随机选择一些设置了TTL的key来删除掉
  • volatile-ttl： 移除掉部分keys，选择那些TTL时间比较短的keys

在redis里面，写入key-value对的时候，是可以设置TTL，存活时间，比如你设置了60s。那么一个key-value对，在60s之后就会自动被删除

最常用：allkeys-lru

  1. maxmemory-samples：比如5，可以设置采样的大小，如果设置为10，那么效果会更好，不过也会耗费更多的CPU资源

缓存清理流程

  1. 客户端执行数据写入操作
  2. redis server接收到写入操作之后，检查maxmemory的限制，如果超过了限制，那么就根据对应的policy清理掉部分数据
  3. 写入操作完成执行

redis的LRU近似算法

  1. redis采取的是LRU近似算法，也就是对keys进行采样，然后在采样结果中进行数据清理
  2. redis 3.0开始，在LRU近似算法中引入了pool机制，表现可以跟真正的LRU算法相当，但是还是有所差距的，不过这样可以减少内存的消耗
  3. redis LRU算法，是采样之后再做LRU清理的，跟真正的、传统、全量的LRU算法是不太一样的