redis Stream：

redis Stream是redis 5.0版本新增加的数据结构。

redis stream主要用于消息队列(MQ,Message Queue)，Redis本身是有一个Redis发布订阅（pub/sub）来实现消息队列的功能，但它有个缺点就是消息无法持久化，如果出现网络断开、Redis宕机等，消息就会被丢弃。

简单来说发布订阅(pub/sub)可以分发消息，但无法记录历使消息。

而Redis Stream提供了消息的持久化和主备复制功能，可以让任何客户端访问任何时刻的数据，并且能记住每一个客户端的访问位置，还能保证消息不丢失。

Redis Stream的结构如下所示，它有一个消息链表，将所有加入的消息都串起来，每个消息都有一个唯一的ID和对应的内容：

redis stream redis stream pending_redis

每个Stream都有一个唯一的名称，它就是Redis的key，在我们首次使用xadd指令追加消息时自动创建。

  • Consumer Group：消费组，使用XGROUP CREATE命令创建，一个消费组有多个消费者(Consumer)
  • last_delivered_id：游标，每个消费者都会有个游标laset_delivered_id，任意一个消费者读取了消息都会使游标last_delivered_id往前移动
  • pending_ids：消费者(Consumer)的状态变量，作用是维护消费者的未确认的id。pending_ids记录了当前已经被客户端读取的消息，但是还没有ack（Acknowledge character：确认字符）

消息队列的相关命令：

  • XADD：添加消息到末尾（生产消息）
  • XTRIM：对流进行修剪，限制长度
  • XDEL：删除消息
  • XLEN：获取流包含的元素数量，及消息长度
  • XRANGE：获取消息列表，会自动过滤已经删除的消息
  • XREVERANGE：反向获取消息列表，ID从大到小
  • XREAD：以阻塞或非阻塞方式获取消息列表（消费消息）

消费者组相关命令：

  • XGROUP CREATE：创建消费者组
  • XREADGROUP GROUP：读取消费者组中的消息
  • XACK：将消息标记为“已处理”
  • XGROUP SETID：为消费者组设置新的最后递送消息ID
  • XGROUP DELCONSUMER：删除消费者
  • XGROUP DESTROY：删除消费者组
  • XPENDING：显示待处理消息的相关信息
  • XCLAIM：转移消费者组的相关信息
  • XINFO GROUPS：打印消费者组的信息
  • XINFO STREAM：打印流信息

XADD：

使用XADD向队列添加消息，如果指定的队列不存在，则创建一个队列，XADD语法格式：

XADD key ID field value [field value ...]
  • key：队列名称，如果不存在就创建
  • ID：消息id，我们使用*表示由redis生成，可以自定义，但是要自己保证递增性
  • field value：记录，当前消息内容，由一个或多个key-value构成

XADD实例：

//需要提供key，消息ID方案，消息内容，其中消息内容为key-value型数据。
//ID，最常用*，表示由redis生成消息ID，这也是强烈建议的方案
redis> XADD mystream * name Sara surname OConnor
"1601372323627-0"
redis> XADD mystream * field1 value1 field2 value2 field3 value3
"1601372323627-1"
//获取流包含的元素数量，即消息长度
redis> XLEN mystream
(integer) 2
//- 表示最小值 , + 表示最大值
redis> XRANGE mystream - +
1) 1) "1601372323627-0"
   2) 1) "name"
      2) "Sara"
      3) "surname"
      4) "OConnor"
2) 1) "1601372323627-1"
   2) 1) "field1"
      2) "value1"
      3) "field2"
      4) "value2"
      5) "field3"
      6) "value3"
redis>

XTRIM：

使用XTRIM对流进行修剪，限制长度，语法格式为：

XTRIM key MAXLEN [~] count
  • key：队列名称
  • MAXLEN：长度
  • count：数量

XTRIM实例：

127.0.0.1:6379> XADD mystream * field1 A field2 B field3 C field4 D
"1601372434568-0"
127.0.0.1:6379> XTRIM mystream MAXLEN 2
(integer) 0
127.0.0.1:6379> XRANGE mystream - +
1) 1) "1601372434568-0"
   2) 1) "field1"
      2) "A"
      3) "field2"
      4) "B"
      5) "field3"
      6) "C"
      7) "field4"
      8) "D"
127.0.0.1:6379>

redis>

XDEL：

使用XDEL删除消息，语法格式：

XDEL key ID [ID ...]
  • key：队列名称
  • ID：消息ID

XLEN：

使用XLEN获取流包含的元素数量，即消息长度，语法格式：

XLEN key

 XLEN实例：

redis> XADD mystream * item 1
"1601372563177-0"
redis> XADD mystream * item 2
"1601372563178-0"
redis> XADD mystream * item 3
"1601372563178-1"
redis> XLEN mystream
(integer) 3
redis>

XRANGE：

使用XRANGE获取消息列表，会自动过滤已经删除的消息，语法格式：

XRANGE key start end [COUNT count]
  • key：队列名
  • start：开始值，-表示最小值
  • end：结束值，+表示最大值
  • count：数量

XRANGE实例：

redis> XADD writers * name Virginia surname Woolf
"1601372577811-0"
redis> XADD writers * name Jane surname Austen
"1601372577811-1"
redis> XADD writers * name Toni surname Morrison
"1601372577811-2"
redis> XADD writers * name Agatha surname Christie
"1601372577812-0"
redis> XADD writers * name Ngozi surname Adichie
"1601372577812-1"
redis> XLEN writers
(integer) 5
redis> XRANGE writers - + COUNT 2
1) 1) "1601372577811-0"
   2) 1) "name"
      2) "Virginia"
      3) "surname"
      4) "Woolf"
2) 1) "1601372577811-1"
   2) 1) "name"
      2) "Jane"
      3) "surname"
      4) "Austen"
redis>

XREVRANGE：

使用XREVRANGE获取消息列表（反向，ID从大到小），会自动过滤已经删除的消息，语法格式：

XREVRANGE key end start [COUNT count]
  • key：队列名
  • end：结束值，+表示最大值
  • start：开始值，-表示最小值
  • count：数量

XREVRANGE实例：

redis> XADD writers * name Virginia surname Woolf
"1601372731458-0"
redis> XADD writers * name Jane surname Austen
"1601372731459-0"
redis> XADD writers * name Toni surname Morrison
"1601372731459-1"
redis> XADD writers * name Agatha surname Christie
"1601372731459-2"
redis> XADD writers * name Ngozi surname Adichie
"1601372731459-3"
redis> XLEN writers
(integer) 5
redis> XREVRANGE writers + - COUNT 1
1) 1) "1601372731459-3"
   2) 1) "name"
      2) "Ngozi"
      3) "surname"
      4) "Adichie"
redis>

XREAD：

使用XREAD以阻塞或非阻塞方式获取消息列表，语法格式：

XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] id [id ...]
  • count：用于限定获取的消息数量
  • [BLOCK milliseconds]：用于设置XREAD为阻塞模式，默认为非阻塞模式
  • ID：用于设置由哪个消息ID开始读取，使用0表示从第一条消息开始。此处需要注意，消息队列ID是单调递增的，所以通过设置起点，可以向后读取。在阻塞模式中，可以使用$，表示最新的消息ID。（非阻塞模式下$无意义）。

XREAD读消息时分为阻塞和非阻塞模式，使用BLOCK选项可以表示阻塞模式，需要设置阻塞时长。非阻塞模式下，读取完毕（即使没有任何消息）立即返回，而在阻塞模式下，若读取不到内容，则阻塞等待。

一个典型的阻塞模式用法为：

127.0.0.1:6379> XREAD block 1000 streams memberMessage $
(nil)
(1.07s)

我们使用Block模式，配合使用$作为ID，表示读取最新的消息，若没有消息，命令阻塞，等待过程中，其他客户端向队列追加消息，则胡立即读取到。

因此，典型的队列就是XADD配合XREAD Block完成。XADD负责生成消息，XREAD负责消费消息。

XREAD实例：

# 从 Stream 头部读取两条消息
> XREAD COUNT 2 STREAMS mystream writers 0-0 0-0
1) 1) "mystream"
   2) 1) 1) 1526984818136-0
         2) 1) "duration"
            2) "1532"
            3) "event-id"
            4) "5"
            5) "user-id"
            6) "7782813"
      2) 1) 1526999352406-0
         2) 1) "duration"
            2) "812"
            3) "event-id"
            4) "9"
            5) "user-id"
            6) "388234"
2) 1) "writers"
   2) 1) 1) 1526985676425-0
         2) 1) "name"
            2) "Virginia"
            3) "surname"
            4) "Woolf"
      2) 1) 1526985685298-0
         2) 1) "name"
            2) "Jane"
            3) "surname"
            4) "Austen"

消息ID说明：

XADD生成的1526984818136-0，就是Redis生成的消息ID，由两部分组成：时间戳-序号。时间戳时毫秒级单位，是生成消息的Redis服务器时间，它是个64位整型。序号是在这个毫秒时间点内的消息序号。它也是个64位整型。

通过multi批处理，来验证序号的递增：

127.0.0.1:6379> MULTI
OK
127.0.0.1:6379> XADD memberMessage * msg one
QUEUED
127.0.0.1:6379> XADD memberMessage * msg two
QUEUED
127.0.0.1:6379> XADD memberMessage * msg three
QUEUED
127.0.0.1:6379> XADD memberMessage * msg four
QUEUED
127.0.0.1:6379> XADD memberMessage * msg five
QUEUED
127.0.0.1:6379> EXEC
1) "1553441006884-0"
2) "1553441006884-1"
3) "1553441006884-2"
4) "1553441006884-3"
5) "1553441006884-4"

由于一个redis命令的执行很快，所以可以看到在同一时间戳内，是通过序号递增来表示消息的。

为了保证消息是有序的，因此Redis生成的ID是单调递增有序的。由于ID中包含时间戳部分，为了避免服务器时间错误而带来的问题（例如服务器时间延后了），Redis的每个Stream类型数据都维护一个latest_generated_id属性，用于记录最后一个消息的ID。若发现当前时间戳退后（小于latest_generated_id所记录的），则采用时间戳不变而序号递增的方案来作为新消息ID（这也是序号为什么使用int64的原因，保证有足够多的的序号），从而保证ID的单调递增性质。

强烈建议使用Redis的方案生成消息ID，因为这种时间戳+序号的单调递增的ID方案，几乎可以满足你全部的需求。但同时，记住ID是支持自定义的，别忘了！

XGROUP CREATE：

使用XGROUP CREATE创建消费者组，语法格式如下：

XGROUP [CREATE key groupname id-or-$] [SETID key groupname id-or-$] [DESTROY key groupname] [DELCONSUMER key groupname consumername]
  • key：队列名称，如果不存在就创建
  • groupname：组名
  • $：表示从尾部开始消费，只接受新消息，当前Stream消息会全部忽略

从头开始消费：

XGROUP CREATE mystream consumer-group-name 0-0

从尾部开始消费：

XGROUP CREATE mystream consumer-group-name $

XREADGROUP GROUP：

使用XREADGROUP GROUP读取消费组中的消息，语法格式：

XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key ...] ID [ID ...]
  • goup：消费组名
  • consumer：消费者名
  • count：读取数量
  • milliseconds：阻塞毫秒数
  • key：队列名
  • ID：消息ID
XREADGROUP GROUP consumer-group-name consumer-name COUNT 1 STREAMS mystream >

相关博文：最全Redis Stream用法详解二