redis调优配置 redis性能调优

转载

墨香四溢 2023-07-27 18:42:47

文章标签 redis调优配置 redis 缓存数据库性能 文章分类 Redis 数据库

redis的性能我拿什么拯救 ⛪

持久化选项
客户端输出缓冲限制
数据结构优化
压缩列表
网络配置
连接池
客户端输出缓冲限制
数据结构优化
压缩列表
网络配置
连接池

不冷战，不任性，多沟通，用舒服的方式喜欢和爱，知道承担，懂得分享，一起进步，愿你成为这样的人，愿你遇见这样的人

要通过Redis配置来提高Redis的性能，可以考虑以下几个方面进行优化：

内存限制与淘汰策略过期键清除策略：设置合适的maxmemory值以避免Redis耗尽系统内存。在内存有限的情况下，选择合适的maxmemory-policy（内存淘汰策略）以保证高效的内存回收。常见的策略有：volatile-lru、allkeys-lru、volatile-lfu、allkeys-lfu等。
过期键清除策略: 当 Redis 中的键值对设置了过期时间后，在过期时间到达时，会自动触发过期键删除策略，将过期的键值对删除以释放内存空间
持久化选项：根据应用需求选择合适的持久化方式。RDB（快照）和AOF（追加文件）是Redis的两种主要持久化方式。RDB适用于大多数场景，性能较高，但可能会导致数据丢失。AOF性能较低，但提供更高的数据安全性。可以通过设置save或appendfsync选项来调整持久化策略。
I/O线程配置：Redis 6.0引入了多线程I/O，可以通过配置io-threads和io-threads-do-reads选项来启用多线程I/O。这可以显著提高Redis在高并发环境下的性能，尤其是在多核CPU系统中。
客户端输出缓冲限制：通过配置client-output-buffer-limit选项来限制客户端输出缓冲区的大小，从而防止大量数据写入客户端导致Redis实例耗尽内存。
慢查询日志：通过设置slowlog-log-slower-than和slowlog-max-len选项来记录慢查询日志。这有助于发现和优化那些性能较差的查询操作。
网络配置：调整tcp-backlog参数以改善Redis实例的网络连接性能。此外，可以启用tcp-keepalive来检测并关闭失效的客户端连接。同时可以压缩数据减少网络传输时间
连接池：在客户端应用程序中使用连接池来减少建立和关闭连接所带来的开销，从而提高性能。
数据结构优化：根据具体的应用场景，选择适合的数据结构（例如字符串、列表、集合、哈希表或有序集合），以减少内存使用和提高查询性能。

最后，监控和分析Redis实例的性能指标（如命中率、内存使用情况、查询响应时间等）对于优化Redis配置和提高性能至关重要。可以使用内置的INFO命令或第三方监控工具来收集和分析这些指标。

持久化选项

Redis提供了两种主要的持久化选项：RDB快照（Snapshotting）和AOF（Append-Only File）日志。为了优化Redis性能，可以根据实际需求和场景调整持久化选项。以下是一些建议：

选择合适的持久化策略：RDB和AOF具有不同的特点。RDB以二进制格式存储数据，适用于定期备份整个数据集。AOF以文本格式记录每个写操作，适用于实时持久化。根据您的业务需求（如数据安全性、恢复时间等）选择合适的持久化策略。
优化RDB快照设置：如果您选择使用RDB快照，可以通过调整以下参数优化性能：

save：设置在指定时间范围内发生指定数量的写操作时创建RDB快照。例如，save 900 1表示在900秒内有1次写操作时创建快照。根据业务需求调整此设置，避免过于频繁的快照创建。
rdbcompression：设置是否对RDB文件进行压缩。压缩可以节省磁盘空间，但会增加CPU开销。根据服务器资源和磁盘空间需求权衡此选项。

优化AOF日志设置：如果您选择使用AOF日志，可以通过调整以下参数优化性能：

appendfsync：设置AOF日志同步策略。可选值有always（每次写操作都同步）、everysec（每秒同步一次）和no（由操作系统决定何时同步）。推荐使用everysec选项，以平衡数据安全性和性能。
auto-aof-rewrite-percentage和auto-aof-rewrite-min-size：设置AOF重写策略。当AOF文件大小增长到上一次重写后的指定百分比且大于指定最小大小时，自动触发AOF重写。合理设置此参数可以减少AOF文件大小，提高性能。
aof-use-rdb-preamble：设置在AOF文件中使用RDB格式的前导。这样在Redis重启时，可以更快地加载AOF文件。此选项默认启用。

禁用持久化：在某些场景下，例如缓存应用，数据的可靠性和持久性可能不是关键需求。在这种情况下，可以禁用持久化以提高性能。要禁用持久化，请将save配置设置为空，同时将appendonly设置为no。
混合持久化：在某些情况下，可以考虑使用RDB和AOF混合持久化，以实现更高的数据安全性和恢复效果。这种配置可以充分利用RDB和AOF的优点。但请注意，这种配置可能会对性能产生一定影响。如果决定使用混合持久化，请考虑以下建议：

配置RDB快照：根据业务需求，调整save选项以在适当的时间间隔生成RDB快照。这将为您提供一个定期的数据备份，以便在发生问题时能够恢复。
启用AOF日志：将appendonly设置为yes以启用AOF日志。AOF日志将记录所有写操作，以提供更高的数据安全性。
调整AOF同步策略：根据性能需求，调整appendfsync选项。建议使用everysec选项，以平衡数据安全性和性能。
调整AOF重写策略：设置合适的auto-aof-rewrite-percentage和auto-aof-rewrite-min-size值，以控制AOF文件大小和重写频率。
启用AOF与RDB的前导：将aof-use-rdb-preamble设置为yes，以便在Redis重启时更快地加载AOF文件。

请注意，混合持久化可能会对性能产生一定影响，因为服务器需要同时处理RDB快照和AOF日志。在生产环境中，建议您监控服务器性能并根据需要调整持久化配置。同时，确保根据实际需求权衡数据安全性、恢复效果和性能。

# Redis配置文件

# 启用RDB快照
# 在900秒（15分钟）内有至少1个键发生变化时，生成一个快照
# 在300秒（5分钟）内有至少10个键发生变化时，生成一个快照
# 在60秒（1分钟）内有至少10000个键发生变化时，生成一个快照
save 900 1
save 300 10
save 60 10000

# 启用AOF日志
appendonly yes

# 调整AOF同步策略：每秒同步一次
appendfsync everysec

# 调整AOF重写策略：
# AOF文件大小增长至上一次重写后的100%时，自动触发重写
# 重写时AOF文件的最小大小为64MB
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

# 启用AOF与RDB的前导
aof-use-rdb-preamble yes

这个配置示例展示了如何根据业务需求和资源限制调整持久化选项。上述配置启用了RDB快照和AOF日志，同时调整了AOF同步策略、重写策略和前导设置。具体值可以根据实际情况进行调整，以平衡数据安全性、恢复效果和性能。

aof-use-rdb-preamble配置选项的作用是在AOF文件开头使用RDB格式的前导。当这个选项设置为yes时，AOF文件将以RDB文件格式的数据快照作为前导部分。在Redis服务器重启时，这种格式可以加快AOF文件的加载速度。

RDB持久化是生成二进制文件的快照。每次save条件满足时，Redis会生成一个新的RDB快照文件，用于替换旧的快照文件。因此，通常情况下，Redis服务器会保留一个最新的RDB快照文件。

AOF持久化是将每个写操作追加到AOF文件中。Redis只会使用一个AOF文件。当AOF文件变大时，可以通过AOF重写操作对其进行压缩。AOF重写会生成一个新的、包含所有有效写操作的AOF文件，然后用新文件替换旧文件。这个过程不会生成多个AOF文件，因为旧文件会被新文件覆盖。

客户端输出缓冲限制

客户端输出缓冲限制是Redis用来控制向客户端发送数据的缓冲区大小的一种机制。当客户端的输出缓冲区达到一定大小时，Redis会采取相应的措施（如断开客户端连接），以防止耗尽服务器内存。这对于保持Redis实例稳定运行非常重要。

在Redis配置文件中，可以使用client-output-buffer-limit选项来设置客户端输出缓冲限制。该选项可以针对不同类型的客户端进行单独配置。常见的客户端类型包括：

normal：普通客户端，即常规的Redis客户端连接。
replica：复制客户端，即与主节点进行数据同步的从节点。
pubsub：发布-订阅模式的客户端，订阅了一个或多个频道或模式的客户端。

client-output-buffer-limit选项的语法如下：

client-output-buffer-limit <client-type> <hard-limit> <soft-limit> <soft-seconds>

<client-type>：客户端类型（normal、replica或pubsub）。
<hard-limit>：硬限制，单位为字节。当客户端的输出缓冲区达到这个值时，Redis会立即断开客户端连接。
<soft-limit>：软限制，单位为字节。当客户端的输出缓冲区达到这个值，并且持续超过<soft-seconds>时间时，Redis会断开客户端连接。
<soft-seconds>：软限制时间，单位为秒。

例如，以下配置会设置普通客户端的输出缓冲限制：

client-output-buffer-limit normal 0 0 0

这意味着对于普通客户端，Redis不会应用任何输出缓冲限制。然而，在实际应用中，建议设置合理的输出缓冲限制，以防止某些客户端过度占用服务器内存。例如：

client-output-buffer-limit normal 512mb 128mb 60

这个配置表示，当普通客户端的输出缓冲区达到512MB时，Redis会立即断开连接；当输出缓冲区达到128MB，并且持续超过60秒时，Redis也会断开连接。

数据结构优化

在Redis中，选择合适的数据结构可以优化内存使用和提高查询性能。Redis提供了以下几种主要的数据结构：

字符串（String）：字符串是Redis中最基本的数据结构，适用于简单的键值存储。除了存储文本数据，字符串还可以存储二进制数据，例如图片、音频等。字符串操作的时间复杂度通常为O(1)。
列表（List）：列表是一个有序的字符串集合，适用于实现队列、栈等数据结构。列表可以使用链表（Linked List）或压缩列表（Ziplist）实现。链表适用于存储大量数据，但内存使用较高；压缩列表适用于存储少量数据，内存使用较低。列表的主要操作（如LPUSH、LPOP、RPUSH、RPOP）的时间复杂度为O(1)，但某些操作（如LINDEX）的时间复杂度可能为O(N)。
集合（Set）：集合是一个无序的、不包含重复元素的字符串集合，适用于实现标签系统、好友关系等场景。集合可以使用整数集合（IntSet）或哈希表（HashTable）实现。整数集合适用于存储少量整数数据，内存使用较低；哈希表适用于存储大量数据，但内存使用较高。集合的主要操作（如SADD、SREM、SISMEMBER）的时间复杂度为O(1)。
散列（Hash）：散列是一个由键值对组成的无序集合，适用于存储对象、配置信息等场景。散列可以使用压缩列表（Ziplist）或哈希表（HashTable）实现。压缩列表适用于存储少量数据，内存使用较低；哈希表适用于存储大量数据，但内存使用较高。散列的主要操作（如HSET、HGET、HDEL）的时间复杂度为O(1)。
有序集合（Sorted Set）：有序集合是一个由分数排序的字符串集合，适用于实现排行榜、计时器等场景。有序集合可以使用压缩列表（Ziplist）或跳跃表（SkipList）实现。压缩列表适用于存储少量数据，内存使用较低；跳跃表适用于存储大量数据，查询性能较高。有序集合的主要操作（如ZADD、ZREM、ZRANK）的时间复杂度为O(log N)，但某些操作（如ZRANGE）的时间复杂度可能为O(M log N)，其中M为返回元素的数量。

数据结构优化的关键在于根据实际应用场景和需求选择合适的数据结构。以下是一些建议：

了解不同数据结构的特点和适用场景。这有助于在设计应用程序时选择合适的数据结构以满足性能和内存需求。
使用更紧凑的数据结构以节省内存。例如，当存储少量数据时，可以使用压缩列表（Ziplist）实现的列表、散列和有序集合，而不是使用链表、哈希表或跳跃表实现。
在适当的时候使用散列以节省内存。当需要存储多个相关的键值对时，可以将它们存储在一个散列中，而不是分别存储为多个独立的键。这样可以减少内存开销。
对于计数器和实时统计场景，可以使用HyperLogLog或者Bitmaps来降低内存占用，虽然可能牺牲一定的精确度。
根据数据访问模式选择合适的数据结构。例如，如果需要按顺序访问数据，可以使用列表；如果需要按分数排序的数据，可以使用有序集合；如果需要查找某个元素是否存在，可以使用集合。
针对大量数据的操作，尽量使用批量操作（如MGET、MSET、HGETALL等）来提高性能。
在适当的情况下，可以考虑使用Lua脚本来实现原子性操作，以避免多次往返通信带来的性能损失。

Redis提供了Stream数据结构，可以用来实现复杂的消息队列。Stream是Redis 5.0版本中引入的一种数据结构，它可以将消息以时间序列的形式存储，支持多个消费者和多个消费者组，还支持消息的分组和消费位置的记录。在使用Stream实现消息队列时，生产者将消息发送到Stream中，消费者可以从Stream中获取消息，支持批量获取和按消息ID获取。同时，Stream还支持消息消费的幂等性，保证消息不会被重复消费。总之，Stream是一个非常强大的数据结构，可以用来实现高效、可靠的消息队列。

Redis中跟地图有关的数据结构是Geo（Geospatial），它可以用来存储地理位置信息，并支持各种地理位置相关的操作，例如计算两点之间的距离、查询某个范围内的所有地点等等。

通过结合这些建议，您可以优化Redis数据结构的使用，从而提高应用程序的性能和内存使用效率。在实际应用中，可能需要根据具体需求和场景对这些建议进行调整。

压缩列表

压缩列表（Ziplist）是Redis中一种紧凑、高效的数据结构，用于实现列表（List）、散列（Hash）和有序集合（Sorted Set）等数据类型。压缩列表在存储少量数据时，相比于其他数据结构（如链表、哈希表、跳跃表等），具有更低的内存占用。这是因为压缩列表采用了一种连续内存分配策略，以及对数据进行特殊编码的方式，从而降低了存储开销。

压缩列表的主要特点如下：

紧凑存储：压缩列表将数据存储在连续的内存空间中，从而减少了内存碎片和指针开销。对于较小的整数和短字符串，压缩列表还会使用特殊的编码方式来进一步降低存储开销。
变长编码：压缩列表使用变长编码来表示数据长度和数据项之间的偏移量。这使得压缩列表在存储不同长度的数据时具有较好的空间利用率。
尾部追加：压缩列表支持在尾部高效地添加和删除数据。这使得它在实现栈、队列等数据结构时具有较好的性能。然而，对于非尾部的插入和删除操作，压缩列表的性能较差，因为需要移动大量数据来维护连续内存空间。
有序存储：压缩列表中的数据按照插入顺序存储。这使得它在实现有序数据结构（如列表、有序集合）时具有较好的性能。

压缩列表在以下场景中具有优势：

存储少量数据：由于压缩列表的紧凑存储特性，它在存储少量数据时具有较低的内存占用。然而，当数据量较大时，压缩列表的性能会受到影响，因为需要频繁地调整内存空间。
存储短字符串和小整数：压缩列表使用特殊编码方式来降低短字符串和小整数的存储开销。因此，在存储这类数据时，压缩列表的性能优势更加明显。
实现栈、队列等数据结构：由于压缩列表支持高效的尾部追加操作，它在实现栈、队列等数据结构时具有较好的性能。

需要注意的是，压缩列表在某些场景下可能不适用，例如在需要频繁执行非尾部插入和删除操作的场景下，压缩列表的性能会受到影响，因为需要移动大量数据来维护连续内存空间。在这种情况下，可以考虑使用其他数据结构，如链表或跳跃表。

要使用压缩列表，您无需在Redis中显式地创建和管理它们。Redis会根据配置和数据量自动选择是否使用压缩列表来实现列表（List）、散列（Hash）和有序集合（Sorted Set）等数据类型。

在Redis配置文件中，可以设置以下参数来控制数据结构的实现方式：

list-max-ziplist-size：控制列表使用压缩列表实现的最大字节数。当列表的大小超过此值时，Redis将自动切换到链表实现。默认值为8KB。
hash-max-ziplist-entries和hash-max-ziplist-value：分别控制散列使用压缩列表实现的最大元素个数和最大键值对字节数。当散列的元素个数或键值对字节数超过这些值时，Redis将自动切换到哈希表实现。默认值分别为512和64。
zset-max-ziplist-entries和zset-max-ziplist-value：分别控制有序集合使用压缩列表实现的最大元素个数和最大成员字节数。当有序集合的元素个数或成员字节数超过这些值时，Redis将自动切换到跳跃表实现。默认值分别为128和64。

通过调整这些配置参数，您可以根据实际需求和内存限制来优化数据结构的实现方式。在实际应用中，可能需要进行性能测试和内存分析，以找到最佳的配置值。

需要注意的是，Redis会根据实际数据量自动选择合适的实现方式。因此，在大多数情况下，您只需关注使用Redis提供的数据类型API，而无需关心底层的数据结构实现。

网络配置

优化网络配置是提高Redis性能的关键方面。以下是一些建议，以帮助您优化Redis网络配置：

优化网络延迟：确保Redis服务器与客户端之间的网络延迟尽可能地低。尽量将Redis服务器部署在与客户端距离较近的地理位置，或者在低延迟的数据中心内。低延迟网络可以显著提高Redis的响应速度。
使用流水线（Pipelining）：通过将多个命令一起发送，而不是逐个发送，可以降低网络延迟带来的影响。这种技术称为流水线。在客户端实现中，启用流水线可以显著提高Redis性能。
合理配置TCP参数：优化TCP参数，例如TCP keepalive、TCP_NODELAY、TCP backlog等，可以改善Redis的网络性能。需要根据您的网络环境和应用需求来调整这些参数。
使用专用网络接口：为了确保Redis流量不受其他网络流量的影响，可以为Redis配置专用的网络接口。这将有助于提高Redis的网络吞吐量。
优化客户端输出缓冲限制：根据您的应用需求和服务器性能，合理配置Redis客户端输出缓冲限制。这将有助于避免大量数据积压在Redis服务器上，导致内存耗尽和性能下降。
升级网络硬件：升级网络硬件，例如交换机、路由器等，可以提高Redis的网络性能。确保您的网络硬件支持足够的带宽，并且具有低延迟特性。
使用压缩：在某些情况下，使用压缩可以降低Redis的网络传输开销。这适用于传输大型值或者具有重复模式的数据。需要注意的是，压缩和解压缩操作会增加CPU开销，因此在使用压缩时要权衡网络带宽和CPU资源。

通过优化网络配置，您可以有效地提高Redis性能。请注意，每个应用和网络环境可能有所不同，因此需要根据实际情况进行调整和优化。

连接池

连接池是一种常用的数据库连接优化方法，通过复用已经建立的连接来减少创建和销毁连接带来的开销。在Redis中，也可以使用连接池来优化性能。以下是使用连接池优化Redis性能的一些建议：

减少连接建立的开销：建立新的Redis连接时，需要进行握手和认证，这会消耗时间和资源。通过使用连接池，可以复用已经建立的连接，从而减少连接建立的开销。
减少连接数：如果没有连接池，每个客户端都需要独立与Redis服务器建立连接。这可能导致大量并发连接，消耗服务器资源，降低性能。使用连接池可以限制并发连接数，降低服务器压力。
自动管理连接：连接池通常会自动管理连接的生命周期，包括创建连接、保持连接活跃、关闭闲置连接等。这样可以确保连接始终处于最佳状态，提高性能。
负载均衡：在使用Redis集群时，可以使用连接池来实现负载均衡。连接池可以根据不同Redis节点的负载情况，自动将请求分配给合适的节点，从而提高整体性能。

要使用连接池优化Redis性能，可以参考以下步骤：

选择合适的连接池库：根据您使用的编程语言和应用场景，选择一个适合的Redis连接池库。例如，在Python中，可以使用redis-py库提供的连接池；在Java中，可以使用Jedis或Lettuce库提供的连接池。
配置连接池参数：根据您的应用需求和服务器性能，合理配置连接池的参数，如最大连接数、最小空闲连接数、连接超时时间等。
使用连接池获取和释放连接：在应用代码中，使用连接池获取和释放Redis连接，而不是直接创建和销毁连接。确保每次获取到的连接都是由连接池提供的，并在使用完毕后将连接归还给连接池。