一、简介rocketMQ

  • RocektMQ是阿里巴巴在2012年开源的一个纯java、分布式、队列模型的第三代消息中间件，不仅在传统高频交易链路有着低延迟的出色表现，在实时计算等大数据领域也有着不错的吞吐。2016年11月11号，双十一大促见证了RocketMQ低延迟存储架构的成功试水，99.996%的延迟落在了10ms以内，极个别由于GC引发的停顿在50ms以内，其高性能、低延时和高可靠的特性承载了近年来双十一17万笔/秒的交易峰值，在整个生产链路上都有着稳定和出色的表现。其在同年捐赠给Apache后正式进入孵化期。并于2017年9月RocketMQ正式从Apache社区正式毕业，成为Apache顶级项目。
  • RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器，每个 Broker 可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的 Broker。Message Queue 用于存储消息的物理地址，每个Topic中的消息地址存储于多个 Message Queue 中。ConsumerGroup 由多个Consumer 实例构成。


二、相关术语

1. 消息生产者（Producer）

负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息，单向发送不需要。

  • Producer Group：一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致。

2. 消息消费者（Consumer）

负责消费消息，一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式：拉取式消费、推动式消费。

  • Push Consumer：Consumer的一种，应用通常向Consumer对象注册一个Listener接口，一旦收到消息，Consumer对象立 刻回调Listener接口方法。
  • Pull Consumer：Consumer的一种，应用通常主动调用Consumer的拉消息方法从Broker拉消息，主动权由应用控制。
  • Consumer Group：一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致。

3. 主题（Topic）

表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。

4. 代理服务器（Broker Server）

消息中转角色，负责存储消息、转发消息。代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。代理服务器也存储消息相关的元数据，包括消费者组、消费进度偏移和主题和队列消息等。

  • Master：Broker中的主节点。
  • Slave：Broker中的副节点。

5. 名字服务（Name Server）

名称服务充当路由消息的提供者。生产者或消费者能够通过名字服务查找各主题相应的Broker IP列表。专为RocketMQ设计的轻量级名称服务。多个Namesrv实例组成集群，但相互独立，彼此没有通信关系，单台Nameserver挂掉，不影响其他Nameserver，即使全部挂掉，也不影响业务系统使用。而且Nameserver不会有频繁的读写，所以性能开销非常小，稳定性很高。

6. 拉取式消费（Pull Consumer）

Consumer消费的一种类型，应用通常主动调用Consumer的拉消息方法从Broker服务器拉消息、主动权由应用控制。一旦获取了批量消息，应用就会启动消费过程。

7. 推动式消费（Push Consumer）

Consumer消费的一种类型，该模式下Broker收到数据后会主动推送给消费端，该消费模式一般实时性较高。

8. 广播消费（Broadcasting）

广播消费模式下，相同Consumer Group的每个Consumer实例都接收全量的消息。一条消息被多个Consumer消费，即使这些Consumer属于同一个Consumer Group，消息也会被Consumer Group中的每个Consumer都消费一次，广播消费中的Consumer Group概念可以认为在消息划分方面无意义。

9. 集群消费（Clustering）

集群消费模式下,一个Consumer Group中的Consumer实例平均分摊消费消息。例如某个Topic有9条消息，其中一个Consumer Group有3个实例（可能是3个进程，或者3台机器），那么每个实例只消费其中的3条消息。

10. 顺序消息

消费消息的顺序要同发送消息的顺序一致，在RocketMQ中，主要指的是局部顺序，即一类消息为满足顺序性，必须Producer单线程顺序发送，且发送到同一个队列，这样Consumer就可以按照Producer发送的顺序去消费消息。

11. 普通顺序消息（Normal Ordered Message）

普通顺序消费模式下，消费者通过同一个消费队列收到的消息是有顺序的。不同消息队列收到的消息则可能是无顺序的，正常情况下可以保证完全的顺序消息，但是一旦发生通信异常，Broker重启，由于队列总数发生变化，哈希取模后定位的队列会变化，产生短暂的消息顺序不一致。如果业务能容忍在集群异常情况（如某个Broker宕机或者重启）下，消息短暂的乱序，使用普通顺序方式比较合适。

12. 严格顺序消息（Strictly Ordered Message）

严格顺序消息模式下，消费者收到的所有消息均是有顺序的。无论正常异常情况都能保证顺序，但是牺牲了分布式Failover特性，即Broker集群中只要有一台机器不可用，则整个集群都不可用，服务可用性大大降低。如果服务器部署为同步双写模式，此缺陷可通过备机自动切换为主避免，不过仍然会存在几分钟的服务不可用。

13. 消息（Message）

消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key。系统提供了通过Message ID和Key查询消息的功能。

14. 消息队列（Message Queue）

在RocketMQ中，所有消息队列都是持久化，长度无限的数据结构，所谓长度无限是指队列中的每个存储单元都是定长，访问其中的存储单元使用Offset来访问，offset为java long类型，64位，理论上在100年内不会溢出，所以认为是长度无限，另外队列中只保存最近几天的数据，之前的数据会按照过期时间来删除。也可以认为Message Queue是一个长度无限的数组，offset就是下标。

15. 标签（Tag）

为消息设置的标志，用于同一主题下区分不同类型的消息。来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性，并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。

16. 异步复制

消息写入master节点，再由master节点异步复制到slave节点，类似mysql中的master-slave机制。

17. 同步双写

消息同时写入master节点和slave节点。

18. 异步刷盘

Broker的一种持久化策略，消息写入pagecache后，直接返回。由异步线程负责将pagecache写入硬盘。

19. 同步刷盘

Broker的一种持久化策略，消息写入pagecache后，由同步线程将pagecache写入硬盘后，再返回。


三、RocketMQ集群部署模式

RocketMQ作为消息中间件，其主要功能为消息的Publish/Subscribe。而Broker担任的消息转发和存储功能，其部署方式有很多种：

1. 单Master

优点：除了配置简单没什么优点。

缺点：不可靠，该机器重启或宕机，将导致整个服务不可用。

2. 多Master

优点：配置简单，性能最高。

缺点：可能会有少量消息丢失，单台机器重启或宕机期间，该机器下未被消费的消息在机器恢复前不可订阅，影响消息实时性。

3. 异步多Master多Slave

每个Master配一个Slave，有多对Master-Slave，集群采用异步复制方式，主备有短暂消息延迟，毫秒级。

优点：性能同多Master几乎一样，实时性高，主备间切换对应用透明，不需人工干预。

缺点：Master宕机或磁盘损坏时会有少量消息丢失。

4. 同步多Master多Slave

每个Master配一个Slave，有多对Master-Slave，集群采用同步双写方式，主备都写成功，向应用返回成功。

优点：服务可用性与数据可用性非常高。

缺点：性能比异步集群略低，当前版本主宕备不能自动切换为主。

 

四、RocketMQ集群特性分析

RocketMQ部署架构图如下所示：

RocketMQ概念和安装部署_RocketMQ

Nameserver

Nameserver的开发旨在轻量级，多台Nameserver互相独立，彼此间互不通信，这样的设计，保证了单台Nameserver宕机，不影响Nameserver。nameserver不会有频繁的读写，所以性能开销非常小，稳定性很高。

Broker与Nameserver关系

连接：

每个Broker与系统中所有的Nameserver保持长连接。

心跳间隔：

每隔30秒（此时间无法更改）向所有Nameserver发送心跳，心跳包含了自身的topic配置信息。

心跳超时：

Nameserver每隔10秒钟（此时间无法更改），扫描所有还存活的Broker连接，若某个连接2分钟内（当前时间与最后更新时间差值超过2分钟，此时间无法更改）没有发送心跳数据，则断开连接。

断开：

一旦连接断开，Nameserver会立即更新topic与队列的对应关系，但不会通知生产者和消费者。

负载均衡：

一个topic分布在多个Broker上，一个broker可以配置多个topic，它们是多对多的关系。如果某个topic消息量很大，应该给它多配置几个队列，并且尽量多分布在不同broker上，减轻某个broker的压力。topic消息量都比较均匀的情况下，如果某个broker上的队列越多，则该broker压力越大。

可用性：

由于消息分布在各个broker上，一旦某个broker宕机，则该broker上的消息读写都会受到影响。所以rocketmq提供了master/slave的结构，salve定时从master同步数据，如果master宕机，则slave提供消费服务，但是不能写入消息，此过程对应用透明，由rocketmq内部解决。

两个关键点：

1. 一旦某个broker master宕机，生产者和消费者多久才能发现？受限于rocketmq的网络连接机制，默认情况下，最多需要30秒，但这个时间可由应用设定参数来缩短时间。这个时间段内，发往该broker的消息都是失败的，而且该broker的消息无法消费，因为此时消费者不知道该broker已经挂掉。

2. 消费者得到master宕机通知后，转向slave消费，但是slave不能保证master的消息100%都同步过来了，因此会有少量的消息丢失。但是消息最终不会丢的，一旦master恢复，未同步过去的消息会被消费掉。

可靠性：

所有发往broker的消息，有同步刷盘和异步刷盘机制，总的来说，可靠性非常高。

同步刷盘时，消息写入物理文件才会返回成功，因此非常可靠。

异步刷盘时，只有机器宕机，才会产生消息丢失，broker挂掉可能会发生，但是机器宕机崩溃是很少发生的，除非突然断电。

 

Consumer

与Nameserver关系

连接：

单个消费者和一台nameserver保持长连接。定时查询topic配置信息，如果该nameserver挂掉，消费者会自动连接下一个nameserver，直到有可用连接为止，并能自动重连。

心跳：

与nameserver没有心跳。

轮询时间：

默认情况下，消费者每隔30秒从nameserver获取所有topic的最新队列情况，这意味着某个broker如果宕机，客户端最多要30秒才能感知。该时间由DefaultMQPushConsumer的pollNameServerInteval参数决定，可手动配置。


与Broker关系

连接：

单个消费者和该消费者关联的所有broker保持长连接。

心跳：

默认情况下，消费者每隔30秒向所有broker发送心跳，该时间由DefaultMQPushConsumer的heartbeatBrokerInterval参数决定，可手动配置。broker每隔10秒钟（此时间无法更改），扫描所有还存活的连接，若某个连接2分钟内（当前时间与最后更新时间差值超过2分钟，此时间无法更改）没有发送心跳数据，则关闭连接，并向该消费者分组的所有消费者发出通知，分组内消费者重新分配队列继续消费。

断开：

消费者挂掉；心跳超时导致broker主动关闭连接。

动作：

一旦连接断开，broker会立即感知到，并向该消费者分组的所有消费者发出通知，分组内消费者重新分配队列继续消费。

负载均衡：

集群消费模式下，一个消费者集群多台机器共同消费一个topic的多个队列，一个队列只会被一个消费者消费。如果某个消费者挂掉，分组内其它消费者会接替挂掉的消费者继续消费。

消费机制

本地队列：

消费者不间断的从broker拉取消息，消息拉取到本地队列，然后本地消费线程消费本地消息队列，只是一个异步过程，拉取线程不会等待本地消费线程，这种模式实时性非常高。对消费者对本地队列有一个保护，因此本地消息队列不能无限大，否则可能会占用大量内存，本地队列大小由DefaultMQPushConsumer的pullThresholdForQueue属性控制，默认1000，可手动设置。

轮询间隔：

消息拉取线程拉取间隔时间由DefaultMQPushConsumer的pullInterval属性控制，默认为0，可手动设置。

消息消费数量：

监听器每次接受本地队列的消息数量是由参数DefaultMQPushConsumer的consumeMessageBatchMaxSize属性控制，默认为1，可手动设置。

消费进度存储：

每隔一段时间将各个队列的消费进度存储到对应的broker上，该时间由DefaultMQPushConsumer的persistConsumerOffsetInterval属性控制，默认为5秒，可手动设置。


 Producer

与Nameserver关系

连接：

单个生产者者和一台nameserver保持长连接，定时查询topic配置信息，如果该nameserver挂掉，生产者会自动连接下一个nameserver，直到有可用连接为止，并能自动重连。

心跳：

与nameserver没有心跳。

 

与Broker关系

连接：

单个生产者和该生产者关联的所有broker保持长连接。

心跳：

默认情况下，生产者每隔30秒向所有broker发送心跳，该时间由DefaultMQProducer的heartbeatBrokerInterval参数决定，可手动配置。broker每隔10秒钟（此时间无法更改），扫描所有还存活的连接，若某个连接2分钟内（当前时间与最后更新时间差值超过2分钟，此时间无法更改）没有发送心跳数据，则关闭连接。

断开：

移除Broker上的生产者信息。

负载均衡：

生产者时间没有关系，每个生产者向队列轮流发送消息。

以上论述了RocketMQ各组件特性和关系，除此之外，在允许可自动创建Topic的配置下，Producer负责创建Topic消息和发送消息，发送消息支持三种方式，异步、同步和onway方式。就总体的消息传输层面来说，RocketMQ有集群模式和广播模式，默认是集群模式，集群模式以其原生的Consumer Group（消费组）实现了负载均衡，广播模式下，Consumer Group下的每个Consumer实例则要消费全部的消息数据。就业务适用层面来说，rocketMQ可以根据业务需求，实现Order Message（订单消息）、Broadcasting（广播消息）、Scheduled Message（延迟消息）、Batch（同Topic批量消息发送）、Filter（基本消息过滤和高级消息过滤）、OpenMessaging（流式消息发送）等。



五、RocketMQ部署案例

5.1 单Master模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

1）启动 NameServer
### 首先启动Name Server
$ nohup sh mqnamesrv &

### 验证Name Server 是否启动成功
$ tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
2）启动 Broker
### 启动Broker
$ nohup sh bin/mqbroker -n localhost:9876 &

### 验证Name Server 是否启动成功，例如Broker的IP为：192.168.1.2，且名称为broker-a
$ tail -f ~/logs/rocketmqlogs/Broker.log 
The broker[broker-a, 192.169.1.2:10911] boot success...

5.2 多Master模式

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

  • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
  • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。
1）启动NameServer

NameServer需要先于Broker启动，且如果在生产环境使用，为了保证高可用，建议一般规模的集群启动3个NameServer，各节点的启动命令相同，如下：

### 首先启动Name Server
$ nohup sh mqnamesrv &

### 验证Name Server 是否启动成功
$ tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
2）修改Broker配置

修改对应RockMQ配置文件，更新nameserver地址为当前集群地址：

  • 2m-2s-async 目录为双master双slave异步复制配置目录
  • 2m-2s-sync 目录为双master双slave同步双写配置目录
  • 2m-noslave 目录为多master配置目录

# 修改2台服务器上对应RockMQ配置文件

$ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties
$ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties
#所属集群名称，如果多个master，那么每个master配置的名称应该一致，要不然识别不了
brokerClusterName=rocketmq-cluster
#broker名称
brokerName=broker-a
#0 表示master，>0 表示slave
brokerId=0
#nameServer地址，分号隔开
namesrvAddr=192.168.1.1:9876;192.168.1.2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broker自动创建订阅组，建议线下开始，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口，
#同一台机器部署多个broker，端口号要不同，且端口号之间要相距大些
listenPort=10911
#删除文件的时间节点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小，默认大小1g
mapedFileSizeCommitLog=1073741824
#consumeQueue每个文件默认存30w条，根据自身业务进行调整
mapedFileSizeConsumeQueue=300000
destroyMapedFileInterval=120000
redeleteHangedFileInterval=120000
#检查物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#store存储路径，master与slave目录要不同
storePathRootDir=/usr/local/rocketmq/rocketmq-4.2/data/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/rocketmq-4.2/data/store/commitlog
#限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
#发消息线程池数
sendMessageThreadPoolNums=128
#拉去消息线程池数
pullMessageThreadPoolNums=128
#broker角色：
#ASYSC_MASTER 异步复制master
#SYSC_MASTER 同步复制master
#SLAVE 从
brokerRole=SYSC_MASTER
#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
2）启动Broker集群
### 在机器A，启动第一个Master，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties &

### 在机器B，启动第二个Master，例如NameServer的IP为：192.168.1.2
$ nohup sh mqbroker -n 192.168.1.2:9876 -c $ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties &

...

如上启动命令是在单个NameServer情况下使用的。对于多个NameServer的集群，Broker启动命令中-n后面的地址列表用分号隔开即可，例如 192.168.1.1:9876;192.168.1.2:9876。


5.3 多Master多Slave模式-异步复制

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
  • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。
1）启动NameServer
### 首先启动Name Server
$ nohup sh mqnamesrv &

### 验证Name Server 是否启动成功
$ tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
2）创建存储目录
mkdir -p /data/rocketmq/store
3）修改Broker配置

# 修改4台服务器上对应RockMQ配置文件，更新nameserver地址为当前集群地址：

$ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties
$ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties
$ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties
$ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties
#所属集群名称，如果多个master，那么每个master配置的名称应该一致，要不然识别不了
brokerClusterName=prod-saas-default

#broker名称
brokerName=broker-a

#0 表示master，>0 表示slave
brokerId=0

#broker角色：
#ASYSC_MASTER 异步复制master
#SYSC_MASTER 同步复制master
#SLAVE 从
brokerRole=ASYSC_MASTER
#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#删除文件的时间节点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=48
#nameServer地址，分号隔开
namesrvAddr=mq001-saas-prod-bj4:9876;mq002-saas-prod-bj4:9876;mq003-saas-prod-bj4:9876;mq004-saas-prod-bj4:9876
#broker对外服务的监听端口，同一台机器部署多个broker，端口号要不同，且端口号之间要相距大些
listenPort=10911

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许broker自动创建订阅组，建议线下开始，线上关闭
autoCreateSubscriptionGroup=false

#commitLog每个文件的大小，默认大小1G
mapedFileSizeCommitLog=1073741824
#consumeQueue每个文件默认存30w条，根据自身业务进行调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检查物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#store存储路径，master与slave目录要不同
storePathRootDir=/data/rocketmq/store
#commitLog存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
storePathConsumeQueue=/data/rocketmq/store/consumequeue
storePathIndex=/data/rocketmq/store/index
storeCheckpoint=/data/rocketmq/store/checkpoint
abortFile=/data/rocketmq/store/abort

#限制的消息大小
maxMessageSize=4146176
#flushCommitLogLeastPages=4
#flushCnotallow=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#checkTransactinotallow=false

#发消息线程池数量
sendMessageThreadPoolNums=32
useReentrantLockWhenPutMessage=true
#拉消息线程池数量
#pullMessageThreadPoolNums=128
3）启动Broker集群
### 在机器A，启动第一个Master，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties &

### 在机器B，启动第二个Master，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties &

### 在机器C，启动第一个Slave，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties &

### 在机器D，启动第二个Slave，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties &

5.4 多Master多Slave模式-同步双写

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

  • 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
  • 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
1）启动NameServer
### 首先启动Name Server
$ nohup sh mqnamesrv &

### 验证Name Server 是否启动成功
$ tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
2）修改Broker配置

# 修改4台服务器上对应RockMQ配置文件，更新nameserver地址为当前集群地址：

$ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties
$ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties
$ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties
$ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties
#所属集群名称，如果多个master，那么每个master配置的名称应该一致，要不然识别不了
brokerClusterName=prod-saas-default

#broker名称
brokerName=broker-a

#0 表示master，>0 表示slave
brokerId=0

##强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.1

#broker角色：
#ASYSC_MASTER 异步复制master
#SYSC_MASTER 同步复制master
#SLAVE 从
brokerRole=SYNC_MASTER

#刷盘方式
#ASYNC_FLUSH 异步刷盘
#SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#删除文件的时间节点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=48
#nameServer地址，分号隔开
namesrvAddr=192.168.1.1:9876;192.168.1.2:9876
#broker对外服务的监听端口，同一台机器部署多个broker，端口号要不同，且端口号之间要相距大些
listenPort=10911
haListenPort=10912

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许broker自动创建订阅组，建议线下开始，线上关闭
autoCreateSubscriptionGroup=false

#commitLog每个文件的大小，默认大小1G
mapedFileSizeCommitLog=1073741824
#consumeQueue每个文件默认存30w条，根据自身业务进行调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检查物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#store存储路径，master与slave目录要不同
storePathRootDir=/data/rocketmq/store/master
#commitLog存储路径
storePathCommitLog=/data/rocketmq/store/master/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/master/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/master/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/master/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/master/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#checkTransactionMessageEnable=false

#发消息线程池数量
sendMessageThreadPoolNums=32
useReentrantLockWhenPutMessage=true
#拉消息线程池数量
#pullMessageThreadPoolNums=128


3）启动Broker集群
### 在机器A，启动第一个Master，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties &

### 在机器B，启动第二个Master，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties &

### 在机器C，启动第一个Slave，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties &

### 在机器D，启动第二个Slave，例如NameServer的IP为：192.168.1.1
$ nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties &

以上Broker与Slave配对是通过指定相同的BrokerName参数来配对，Master的BrokerId必须是0，Slave的BrokerId必须是大于0的数。另外一个Master下面可以挂载多个Slave，同一Master下的多个Slave通过指定不同的BrokerId来区分。$ROCKETMQ_HOME指的RocketMQ安装目录，需要用户自己设置此环境变量。


配置启动文件

[ root@rocketmq-prod:~ ]# cat /usr/local/rocketmq/bin/mqbroker
#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

if [ -z "$ROCKETMQ_HOME" ] ; then
  ## resolve links - $0 may be a link to maven's home
  PRG="$0"

  # need this for relative symlinks
  while [ -h "$PRG" ] ; do
    ls=`ls -ld "$PRG"`
    link=`expr "$ls" : '.*-> \(.*\)$'`
    if expr "$link" : '/.*' > /dev/null; then
      PRG="$link"
    else
      PRG="`dirname "$PRG"`/$link"
    fi
  done

  saveddir=`pwd`

  ROCKETMQ_HOME=`dirname "$PRG"`/..

  # make it fully qualified
  ROCKETMQ_HOME=`cd "$ROCKETMQ_HOME" && pwd`

  cd "$saveddir"
fi

export ROCKETMQ_HOME

sh ${ROCKETMQ_HOME}/bin/runbroker.sh org.apache.rocketmq.broker.BrokerStartup $@
[ root@rocketmq-prod:~ ]# cat /usr/local/rocketmq/bin/runserver.sh
#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}

XMX=$(($(awk '$0~/MemTotal/{print$2}' /proc/meminfo)*30/100/1024))
XMN=$(($(awk '$0~/MemTotal/{print$2}' /proc/meminfo)*30/100/1024/2))

[ $XMX -lt 512 ] && XMX=512
[ $XMN -lt 256 ] && XMX=256

#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms${XMX}m -Xmx${XMX}m -Xmn${XMN}m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFractinotallow=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8  -XX:-UseParNewGC"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/data/rocketmq/logs/nameserver_gc.log -XX:+PrintGCDetails"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT}  -XX:-UseLargePages"
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

$JAVA ${JAVA_OPT} $@
[ root@rocketmq-prod:~ ]# cat /usr/local/rocketmq/bin/runbroker.sh
#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}

XMX=$(($(awk '$0~/MemTotal/{print$2}' /proc/meminfo)*50/100/1024))
XMN=$(($(awk '$0~/MemTotal/{print$2}' /proc/meminfo)*50/100/1024/2))

[ $XMX -lt 512 ] && XMX=512
[ $XMN -lt 256 ] && XMX=256


#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms${XMX}m -Xmx${XMX}m -Xmn${XMN}m"
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapReginotallow=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -XX:SurvivorRatio=8"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/data/rocketmq/logs/broker_%p_gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCApplicationStoppedTime -XX:+PrintAdaptiveSizePolicy"
JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT} -XX:+AlwaysPreTouch"
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=7g"
JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages -XX:-UseBiasedLocking"
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

numactl --interleave=all pwd > /dev/null 2>&1
if [ $? -eq 0 ]
then
        if [ -z "$RMQ_NUMA_NODE" ] ; then
                numactl --interleave=all $JAVA ${JAVA_OPT} $@
        else
                numactl --cpunodebind=$RMQ_NUMA_NODE --membind=$RMQ_NUMA_NODE $JAVA ${JAVA_OPT} $@
        fi
else
        $JAVA ${JAVA_OPT} $@
fi


配置supervisor启动rocketmq

# yum安装完成后，需要修改supervisor配置文件 /etc/supervisord.d/mqbroker.ini ，设置相应的broker角色，nameserver不用修改。

[ root@rocketmq01-server:~ ]# cat /etc/supervisord.d/mqbroker.ini

##修改四台服务器上supervisor配置，不同角色取消相应注释，机器A（Master）配置如下：

[program:mqbroker]
command=/bin/sh /usr/local/rocketmq/bin/mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties
;command=/bin/sh /usr/local/rocketmq/bin/mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties
;command=/bin/sh /usr/local/rocketmq/bin/mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties
;command=/bin/sh /usr/local/rocketmq/bin/mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties
;process_name=%(program_name)s
numprocs=1
loglevel=info
directory=/data/rocketmq
umask=022
priority=999
autostart=true
autorestart=unexpected
killasgroup=true
stopasgroup=true  ;此处务必设置为true
startsecs=5
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=5
user=nobody
redirect_stderr=true
stdout_logfile=/var/log/supervisor/%(program_name)s.log
stdout_logfile_maxbytes=1MB
stdout_logfile_backups=10
stdout_capture_maxbytes=1MB
stderr_logfile=/var/log/supervisor/%(program_name)s_error.log
stderr_logfile_maxbytes=1MB
stderr_logfile_backups=10
stderr_capture_maxbytes=1MB
envirnotallow=PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",ROCKETMQ_HOME=/usr/local/rocketmq,JAVA_HOME=/usr/java/default/jre
serverurl=AUTO


启动命令

# 启动supervisor
systemctl start supervisord
 
 
# 使用supervisorctl命令管理服务，查看服务状态
supervisorctl status
 
 
# 先启动所有服务器上的nameserver
supervisorctl start mqnameserver
 
 
# 后启动所有服务器上的broker
supervisorctl start mqbroker
 
 
# supervisor日志目录 /var/log/supervisor/

六、Docker安装管理界面rocketmq-console

不能部署在mq集群上，因为docker默认网卡172.17.0.1会导致控制台连接集群时注册为一个错误的ip而导致无法通信

# 安装docker-ce
yum install docker-ce -y
 
 
# 启动docker服务
systemctl enable docker.service
systemctl start docker.service
 
 
# 修改下面命令行中的配置，启动rocketmq-console容器
# 容器服务端口：8080  -> 对外端口：8082
# 名称服务配置：NAMESRV_ADDR 改为nameserver服务器IP或域名+端口 （按照标准规范操作，需先设置对外提供MQ服务的域名DNS）
docker run \
    --name rocketmq-console-ng \
    -h rocketmq-console-ng \
    -e "JAVA_OPTS=-Drocketmq.namesrv.addr=mq-server01:9876;mq-server02:9876;mq-server03:9876;mq-server04:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
    -e "NAMESRV_ADDR=mq-server01:9876;mq-server02:9876;mq-server03:9876;mq-server04:9876" \
    -p 8082:8080 \
    --restart always \
    -d styletang/rocketmq-console-ng


七、mqadmin管理工具

https://github.com/apache/rocketmq/blob/master/docs/cn/operation.md

注意：

  1. 执行命令方法：./mqadmin {command} {args}
  2. 几乎所有命令都需要配置-n表示NameServer地址，格式为ip:port
  3. 几乎所有命令都可以通过-h获取帮助
  4. 如果既有Broker地址（-b）配置项又有clusterName（-c）配置项，则优先以Broker地址执行命令，如果不配置Broker地址，则对集群中所有主机执行命令，只支持一个Broker地址。-b格式为ip:port，port默认是10911
  5. 在tools下可以看到很多命令，但并不是所有命令都能使用，只有在MQAdminStartup中初始化的命令才能使用，你也可以修改这个类，增加或自定义命令
  6. 由于版本更新问题，少部分命令可能未及时更新，遇到错误请直接阅读相关命令源码

7.1 Topic相关

名称

含义

命令选项

说明

updateTopic

创建更新Topic配置

-b

Broker 地址，表示 topic 所在 Broker，只支持单台Broker，地址为ip:port

-c

cluster 名称，表示 topic 所在集群（集群可通过 clusterList 查询）

-h-

打印帮助

-n

NameServer服务地址，格式 ip:port

-p

指定新topic的读写权限( W=2|R=4|WR=6 )

-r

可读队列数（默认为 8）

-w

可写队列数（默认为 8）

-t

topic 名称（名称只能使用字符 ^[a-zA-Z0-9_-]+$ ）

deleteTopic

删除Topic

-c

cluster 名称，表示删除某集群下的某个 topic （集群 可通过 clusterList 查询）

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic 名称（名称只能使用字符 ^[a-zA-Z0-9_-]+$ ）

topicList

查看 Topic 列表信息

-h

打印帮助

-c

不配置-c只返回topic列表，增加-c返回clusterName, topic, consumerGroup信息，即topic的所属集群和订阅关系，没有参数

-n

NameServer 服务地址，格式 ip:port

topicRoute

查看 Topic 路由信息

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

topicStatus

查看 Topic 消息队列offset

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

topicClusterList

查看 Topic 所在集群列表

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

updateTopicPerm

更新 Topic 读写权限

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-b

Broker 地址，表示 topic 所在 Broker，只支持单台Broker，地址为ip:port

-p

指定新 topic 的读写权限( W=2|R=4|WR=6 )

-c

cluster 名称，表示 topic 所在集群（集群可通过 clusterList 查询），-b优先，如果没有-b，则对集群中所有Broker执行命令

updateOrderConf

从NameServer上创建、删除、获取特定命名空间的kv配置，目前还未启用

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic，键

-v

orderConf，值

-m

method，可选get、put、delete

allocateMQ

以平均负载算法计算消费者列表负载消息队列的负载结果

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-i

ipList，用逗号分隔，计算这些ip去负载Topic的消息队列

statsAll

打印Topic订阅关系、TPS、积累量、24h读写总量等信息

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-a

是否只打印活跃topic

-t

指定topic

7.2 集群相关

名称

含义

命令选项

说明

clusterList

查看集群信息，集群、BrokerName、BrokerId、TPS等信息

-m

打印更多信息 (增加打印出如下信息 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday)

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-i

打印间隔，单位秒

clusterRT

发送消息检测集群各Broker RT。消息发往${BrokerName} Topic。

-a

amount，每次探测的总数，RT = 总时间 / amount

-s

消息大小，单位B

-c

探测哪个集群

-p

是否打印格式化日志，以|分割，默认不打印

-h

打印帮助

-m

所属机房，打印使用

-i

发送间隔，单位秒

-n

NameServer 服务地址，格式 ip:port

7.3 Broker相关

名称

含义

命令选项

说明

updateBrokerConfig

更新 Broker 配置文件，会修改Broker.conf

-b

Broker 地址，格式为ip:port

-c

cluster 名称

-k

key 值

-v

value 值

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

brokerStatus

查看 Broker 统计信息、运行状态（你想要的信息几乎都在里面）

-b

Broker 地址，地址为ip:port

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

brokerConsumeStats

Broker中各个消费者的消费情况，按Message Queue维度返回Consume Offset，Broker Offset，Diff，TImestamp等信息

-b

Broker 地址，地址为ip:port

-t

请求超时时间

-l

diff阈值，超过阈值才打印

-o

是否为顺序topic，一般为false

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

getBrokerConfig

获取Broker配置

-b

Broker 地址，地址为ip:port

-n

NameServer 服务地址，格式 ip:port

wipeWritePerm

从NameServer上清除 Broker写权限

-b

Broker 地址，地址为ip:port

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

cleanExpiredCQ

清理Broker上过期的Consume Queue，如果手动减少对列数可能产生过期队列

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-b

Broker 地址，地址为ip:port

-c

集群名称

cleanUnusedTopic

清理Broker上不使用的Topic，从内存中释放Topic的Consume Queue，如果手动删除Topic会产生不使用的Topic

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-b

Broker 地址，地址为ip:port

-c

集群名称

sendMsgStatus

向Broker发消息，返回发送状态和RT

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-b

BrokerName，注意不同于Broker地址

-s

消息大小，单位B

-c

发送次数

7.4 消息相关

名称

含义

命令选项

说明

queryMsgById

根据offsetMsgId查询msg，如果使用开源控制台，应使用offsetMsgId，此命令还有其他参数，具体作用请阅读QueryMsgByIdSubCommand。

-i

msgId

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

queryMsgByKey

根据消息 Key 查询消息

-k

msgKey

-t

Topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

queryMsgByOffset

根据 Offset 查询消息

-b

Broker 名称，（这里需要注意 填写的是 Broker 的名称，不是 Broker 的地址，Broker 名称可以在 clusterList 查到）

-i

query 队列 id

-o

offset 值

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

queryMsgByUniqueKey

根据msgId查询，msgId不同于offsetMsgId，区别详见常见运维问题。-g，-d配合使用，查到消息后尝试让特定的消费者消费消息并返回消费结果

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-i

uniqe msg id

-g

consumerGroup

-d

clientId

-t

topic名称

checkMsgSendRT

检测向topic发消息的RT，功能类似clusterRT

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic名称

-a

探测次数

-s

消息大小

sendMessage

发送一条消息，可以根据配置发往特定Message Queue，或普通发送。

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic名称

-p

body，消息体

-k

keys

-c

tags

-b

BrokerName

-i

queueId

consumeMessage

消费消息。可以根据offset、开始&结束时间戳、消息队列消费消息，配置不同执行不同消费逻辑，详见ConsumeMessageCommand。

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic名称

-b

BrokerName

-o

从offset开始消费

-i

queueId

-g

消费者分组

-s

开始时间戳，格式详见-h

-d

结束时间戳

-c

消费多少条消息

printMsg

从Broker消费消息并打印，可选时间段

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic名称

-c

字符集，例如UTF-8

-s

subExpress，过滤表达式

-b

开始时间戳，格式参见-h

-e

结束时间戳

-d

是否打印消息体

printMsgByQueue

类似printMsg，但指定Message Queue

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-t

topic名称

-i

queueId

-a

BrokerName

-c

字符集，例如UTF-8

-s

subExpress，过滤表达式

-b

开始时间戳，格式参见-h

-e

结束时间戳

-p

是否打印消息

-d

是否打印消息体

-f

是否统计tag数量并打印

resetOffsetByTime

按时间戳重置offset，Broker和consumer都会重置

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-g

消费者分组

-t

topic名称

-s

重置为此时间戳对应的offset

-f

是否强制重置，如果false，只支持回溯offset，如果true，不管时间戳对应offset与consumeOffset关系

-c

是否重置c++客户端offset

7.5 消费者、消费组相关

名称

含义

命令选项

说明

consumerProgress

查看订阅组消费状态，可以查看具体的client IP的消息积累量

-g

消费者所属组名

-s

是否打印client IP

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

consumerStatus

查看消费者状态，包括同一个分组中是否都是相同的订阅，分析Process Queue是否堆积，返回消费者jstack结果，内容较多，使用者参见ConsumerStatusSubCommand

-h

打印帮助

-n

NameServer 服务地址，格式 ip:port

-g

consumer group

-i

clientId

-s

是否执行jstack

getConsumerStatus

获取 Consumer 消费进度

-g

消费者所属组名

-t

查询主题

-i

Consumer 客户端 ip

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

updateSubGroup

更新或创建订阅关系

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-b

Broker地址

-c

集群名称

-g

消费者分组名称

-s

分组是否允许消费

-m

是否从最小offset开始消费

-d

是否是广播模式

-q

重试队列数量

-r

最大重试次数

-i

当slaveReadEnable开启时有效，且还未达到从slave消费时建议从哪个BrokerId消费，可以配置备机id，主动从备机消费

-w

如果Broker建议从slave消费，配置决定从哪个slave消费，配置BrokerId，例如1

-a

当消费者数量变化时是否通知其他消费者负载均衡

deleteSubGroup

从Broker删除订阅关系

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-b

Broker地址

-c

集群名称

-g

消费者分组名称

cloneGroupOffset

在目标群组中使用源群组的offset

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-s

源消费者组

-d

目标消费者组

-t

topic名称

-o

暂未使用

7.6 连接相关

名称

含义

命令选项

说明

consumerConnec tion

查询 Consumer 的网络连接

-g

消费者所属组名

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

producerConnec tion

查询 Producer 的网络连接

-g

生产者所属组名

-t

主题名称

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

7.7 NameServer相关

名称

含义

命令选项

说明

updateKvConfig

更新NameServer的kv配置，目前还未使用

-s

命名空间

-k

key

-v

value

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

deleteKvConfig

删除NameServer的kv配置

-s

命名空间

-k

key

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

getNamesrvConfig

获取NameServer配置

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

updateNamesrvConfig

修改NameServer配置

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

-k

key

-v

value

7.8 其他

名称

含义

命令选项

说明

startMonitoring

开启监控进程，监控消息误删、重试队列消息数等

-n

NameServer 服务地址，格式 ip:port

-h

打印帮助

参考文章：

http://www.itmuch.com/books/rocketmq/

https://www.cnblogs.com/tudachui/p/10998984.html