redis 5.0版本新增Redis Stream 特性

redis发布订阅 (pub/sub) 来实现消息队列的功能，但它有个缺点就是消息无法持久化，如果出现网络断开、Redis 宕机等，消息就会被丢弃，

stream数据结构以及对应的命令操作参考:https://www.runoob.com/redis/redis-stream.html Redis Stream 的结构如下所示，它有一个消息链表，将所有加入的消息都串起来，每个消息都有一个唯一的 ID 和对应的内容：

redis遍历所有key java jedis redis 循环队列_List


每个 Stream 都有唯一的名称，它就是 Redis 的 key，在我们首次使用 xadd 指令追加消息时自动创建。

Consumer Group ：消费组，使用 XGROUP CREATE 命令创建，一个消费组有多个消费者(Consumer)。

last_delivered_id ：游标，每个消费组会有个游标 last_delivered_id，任意一个消费者读取了消息都会使游标 last_delivered_id 往前移动。

pending_ids ：消费者(Consumer)的状态变量，作用是维护消费者的未确认的 id。 pending_ids 记录了当前已经被客户端读取的消息，但是还没有 ack (Acknowledge character：确认字符）。

消息队列相关命令：

  • XADD - 添加消息到末尾
  • XTRIM - 对流进行修剪，限制长度
  • XDEL - 删除消息
  • XLEN - 获取流包含的元素数量，即消息长度
  • XRANGE - 获取消息列表，会自动过滤已经删除的消息
  • XREVRANGE - 反向获取消息列表，ID 从大到小
  • XREAD - 以阻塞或非阻塞方式获取消息列表

消费者组相关命令：

  • XGROUP CREATE - 创建消费者组
  • XREADGROUP GROUP - 读取消费者组中的消息
  • XACK - 将消息标记为"已处理"
  • XGROUP SETID -为消费者组设置新的最后递送消息ID
  • XGROUP DELCONSUMER - 删除消费者
  • XGROUP DESTROY - 删除消费者组
  • XPENDING - 显示待处理消息的相关信息
  • XCLAIM - 转移消息的归属权
  • XINFO - 查看流和消费者组的相关信息；
  • XINFO GROUPS - 打印消费者组的信息；
  • XINFO STREAM - 打印流信息
    添加消息
/**
     * 添加消息，如果队列存在就往队列插入，如果不存在就创建一个
     * 对应命令：XADD key ID field value [field value ...]
     * 例：XADD mystream * name Sara surname OConnor
     * */
    public String messageAdd(String streamName, Map<String,String> paramMap){
        Jedis jedis = JedisPoolUtils.getJedis();
        StreamEntryID entityId = jedis.xadd(streamName,StreamEntryID.NEW_ENTRY,paramMap);
        return entityId.toString();
    }

删除消息

/**
     * 删除消息
     * 对应命令XDEL key ID [ID ...]
     * 例：XADD mystream 000000000-0
     * */
    public void messageDel(String streamName,String id){
        Jedis jedis = JedisPoolUtils.getJedis();
        jedis.xdel(streamName,new StreamEntryID(id));
    }

分组读取消息

/**
     * 按组读取消息
     * 对应命令 XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key ...] ID [ID ...]
     * 例 XREADGROUP GROUP consumer-group-name consumer-name COUNT 1 STREAMS mystream >
     * */
    public void readMessageByGroup(Jedis jedis, String streamName,String groupName,String consumerName,int count ,StreamEntryID streamEntryID){
        
        Map.Entry e = new StreamMapEntity(streamName,streamEntryID);
        List<Map.Entry<String, List<StreamEntry>>> list = jedis.xreadGroup(groupName, consumerName, count, 0, false,e );
        if(list == null){
            return ;
        }
        for (Map.Entry<String, List<StreamEntry>> map: list ) {
            List<StreamEntry> l = map.getValue();
            for (StreamEntry entity: l) {
                //调用抽象业务方法
                try{
	                dealMessage(entity.getFields());
	                jedis.xack(streamName, groupName, entity.getID());
                }catch(Exception e){
	                e.printStackTrace();
                }
            }


        }
    }

查询没有被ack的消息

/**
     * 查询未被ack的消息
     * 对应命令 XPENDING key start end [COUNT count]
     * 例 XPENDING mystream - +
     * */
    public List<StreamPendingEntry> pendingMessage(String streamName,String groupName,String consumerName,int count){
        Jedis jedis = JedisPoolUtils.getJedis();
        return jedis.xpending(streamName, groupName, null ,null ,count, consumerName);
    }

不同于发布订阅模式，stream类型队列是拉式消息

/**
     * 启动拉取消息监听
     * */
    public void process(String streamName,String groupName,String consumerName,int count){
     	Jedis jedis = JedisPoolUtils.getJedis();
        while(flag){
            try {
                readMessageByGroup(jedis, streamName, groupName, consumerName, count, StreamEntryID.LAST_ENTRY);
                Thread.sleep(1000);
            }catch(Exception e){
                e.printStackTrace();
            }
        }
    }