Redis 越来越大硬盘

转载

footballboy 2024-10-23 20:30:55

文章标签 Redis 越来越大硬盘 redis 数据集 Redis 文章分类 Redis 数据库

1、redis常用命令应用

服务器端：

1，启动redis: redis-server

2、查看redis help文档：redis --help

3、个人习惯：

ps aux | grep redis 查看redis服务进程

sudo kill -9 pid 根据查询到的进程编号，杀掉进程

客户端：

1、启动命令： redis-cli

2、测试命令：ping

3、redis默认有16个库（0-15），用select n 选择n号数据库。默认情况下选中的是0号库

其他：

/etc/init.d/redis-server stop 终止redis
/etc/init.d/redis-server start 启动redis
/etc/init.d/redis-server restart 重启redis

redis是key-value数据结构存储。键不能重复，指的类型有五种：字符串string，哈希hash，列表list, 集合set, 有序集合zset

1、string

保存：

set key value 设置一对

mset key value key value .. 设置多对

setex key seconds value 设置有效时间，超过时间后会自动删除

append key value 在已有的key上面再追加一个值

获取：

get key 获取键的值

mget key1 key2 获取多个键的值

删除：

del key 删除键对应的值

2、hash

保存：

hset key filed value 设置单个属性

hmset key field1 value1 field2 value2 设置多个属性

获取：

hkeys key 获取某个键的所有属性

hset key field 获取某个键的单个属性的值

hmget key field 获取多个属性值

hvalues key 获取所有属性的值

删除：

hdel key field1 field2 ... 删除键的多个属性值

3、list

增加：

lpush key value1 value2 ... 从左侧插入数据

rpush key value1 value2 .. 从右侧插入数据

linsert key before或after 现有元素，新元素 在已有元素的前后插入某个元素

获取：

返回列表指定范围内的元素，start、stop为元素的下标索引，索引从左侧开始，第个元素为0，索引可以是负数，表示从尾部开始计数，如-1表示最后个元素

lrange key start stop

设置指定索引位置的元素值：

索引从左侧开始，第n个元素为0，索引可以是负数，表示尾部开始计数，如-1表示最后n个元素

lset key index value

删除：

删除指定的元素：将列表中前count次出现的值为value的元素移除，

count > 0: 从头往尾移除
count <0 ：从尾往头移除
count = 0: 移除所有

lrem key count value 删除键中某几个元素

4、set

添加：

sadd key member1, member2 一个键中添加多个元素

获取：

smembers key 返回所有的元素

删除：

srem key 删除指定的key

5、zset

添加：

zadd key score1 member1 score2 member2 ... （score是权重）一个键添加不同权重的元素。

获取：

返回指定范围内的元素。start, stop为元素的下标索引，索引从侧数第一个是0，从右侧数第一个是-1.

zrange key start stop 获取某个key不同权重的所有的元素

zrangebyscore key min max 获取权重在最大和最小之间的元素

zscore key member 返回所有成员的权重值。

删除：

zrem key member1 member2 ... 删除指定的元素

zremrangebyscore key min max 删除权重值在范围之内的所有元素

2、redis的优缺点及应用场景

1、使用redis的好处：

(1) 速度快，因为数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)

(2) 支持丰富数据类型，支持string，list，set，sorted set，hash

(3) 支持事务，操作都是原子性，所谓的原子性就是对数据的更改要么全部执行，要么全部不执行

(4) 丰富的特性：可用于缓存，消息，按key设置过期时间，过期后将会自动删除

(5) 当线程，可以做消息队列为异步任务提供中间存储服务。

2、缺点：

redis不具备自动容错和回复的功能。主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复。
主机宕机，有部分数据未能同步到从机中，切换IP后还会引入数据不一致的问题，降低了系统的可用性。
redis的复制采用全量复制，复制过程中主机会fork出一个子进程对内存做一份快照，并将子进程的内存快照保存为文件发送给从机，这一过程需要确保主机有足够多的空余内存。若快照文件较大，对集群的服务能力会产生较大的影响，而且复制过程是在从机新加入集群或者从机和主机网络断开重连时都会进行，也就是网络波动都会造成主机和从机间的一次全量的数据复制，这对实际的系统运营造成了不小的麻烦。
Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。为避免这一问题，运维人员在系统上线时必须确保有足够的空间，这对资源造成了很大的浪费。

3、分布式

redis支持主从的模式：

原则：master会将数据同步到slave,而slave不会将数据同步到master。Slave启动时会连接master来同步数据。典型的读写分离模型。利用master来插入数据，slave提供检索服务。有效减少单个机器的并发访问数量。
读写分离模型：通过增加Slave DB的数量，读的性能可以线性增长，为了避免Master DB的单点故障，集群一般都会采用两台Master DB 做双机热备，所以整个集群的读和写的可用性都非常高。
缺陷：不管是Master还是Slave，每个节点都必须保存完整的数据，如果在数据量很大的情况下，集群的扩展能力是受限于单个节点的存储能力。

4.redis 持久化

redis提供了不同方式的持久化存储方式。一种是RDB,一种是AOF。可以同时开启两种持久化的方式。在这种情况下, 当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。

RDB：在指定的时间间隔能对数据进行快照存储(隔一段时间,把内存里的数据转存在硬盘里的文件)

优点：

RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份,比如您可以在每个小时报保存一下过去24小时内的数据,同时每天保存过去30天的数据,这样即使出了问题您也可以根据需求恢复到不同版本的数据集.
RDB是一个紧凑的单一文件,很方便传送到另一个远端数据中心或者亚马逊的S3（可能加密），非常适用于灾难恢复.
RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能.
与AOF相比,在恢复大的数据集的时候，RDB方式会更快一些.

缺点：

如果您希望在redis意外停止工作（例如电源中断）的情况下丢失的数据最少的话，那么RDB不适合您.虽然您可以配置不同的save时间点(例如每隔5分钟并且对数据集有100个写的操作),是Redis要完整的保存整个数据集是一个比较繁重的工作,您通常会每隔5分钟或者更久做一次完整的保存,万一在Redis意外宕机,您可能会丢失几分钟的数据.
RDB 需要经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致Redis在一些毫秒级内不能响应客户端的请求.如果数据集巨大并且CPU性能不是很好的情况下,这种情况会持续1秒,AOF也需要fork,但是您可以调节重写日志文件的频率来提高数据集的耐久度.

AOF：每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大.

优点：

使用AOF 会让您的Redis更加耐久: 您可以使用不同的fsync策略：无fsync,每秒fsync,每次写的时候fsync.使用默认的每秒fsync策略,Redis的性能依然很好(fsync是由后台线程进行处理的,主线程会尽力处理客户端请求),一旦出现故障，您最多丢失1秒的数据.
AOF文件是一个只进行追加的日志文件,所以不需要写入seek,即使由于某些原因(磁盘空间已满，写的过程中宕机等等)未执行完整的写入命令,您也也可使用redis-check-aof工具修复这些问题.
Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写：重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。
AOF 文件有序地保存了对数据库执行的所有写入操作，这些写入操作以 Redis 协议的格式保存，因此 AOF 文件的内容非常容易被人读懂，对文件进行分析（parse）也很轻松。导出（export） AOF 文件也非常简单：举个例子，如果您不小心执行了 FLUSHALL 命令，但只要 AOF 文件未被重写，那么只要停止服务器，移除 AOF 文件末尾的 FLUSHALL 命令，并重启 Redis ，就可以将数据集恢复到 FLUSHALL 执行之前的状态。
对于相同的数据集来说，AOF 文件的体积通常要大于 RDB 文件的体积。
根据所使用的 fsync 策略，AOF 的速度可能会慢于 RDB 。在一般情况下，每秒 fsync 的性能依然非常高，而关闭 fsync 可以让 AOF 的速度和 RDB 一样快，即使在高负荷之下也是如此。不过在处理巨大的写入载入时，RDB 可以提供更有保证的最大延迟时间（latency）