kafka新建分区 kafka增加分区数

转载

karen 2024-03-20 19:33:55

文章标签 kafka新建分区 kafka zookeeper json 文章分类 架构后端开发

1、创建kafka topic

kafka-topics.sh --zookeeper node01:2181 --create --topic t_Name --partitions 30 --replication-factor 2

注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数
partitions分区数:
partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。分区数只可以增加不可以减少。
replication-factor副本
replication factor 控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。
如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量

2、查看所有topic列表

kafka-topics.sh --zookeeper node01:2181 --list

3、查看指定topic的详细信息

kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name

4、创建一个topic并生产消息

bootstrap_server=hadoop001:9092,hadoop002:9092,hadoop003:9092
zookeeper_connect=hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka
kafka-topics.sh --create --zookeeper $zookeeper_connect --replication-factor 2 --partitions 3 --topic test001
kafka-console-producer.sh --broker-list $bootstrap_server --topic test001 --producer.config $KAFKA_HOME/config/producer.properties

bootstrap_server：定义的kafka的broker集群节点，端口号在配置文件里可以查看。
zookeeper_connect：定义的zookeeper集群节点，kafka是配置文件中指定的对topic进行操作的虚拟用户。

5、对指定的topic消费

bootstrap_server=hadoop001:9092,hadoop002:9092,hadoop003:9092
zookeeper_connect=hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka
kafka-console-consumer.sh --bootstrap-server $bootstrap_server --from-beginning --topic test001 --consumer.config $KAFKA_HOME/config/consumer.properties

6、查看topic某分区偏移量最大(小)值

kafka-run-class.sh kafka.tools.GetOffsetShell --topic t_Name --time -1 --broker-list node86:9092 --partitions 0

注： time为-1时表示最大值，time为-2时表示最小值

7、增加topic分区数

kafka-topics.sh --zookeeper node01:2181 --alter --topic t_cdr --partitions 10

8、查看topic消费进度

这个会显示出consumer group的offset情况，必须参数为–group，不指定–topic，默认为所有topic

Displays the: Consumer Group, Topic, Partitions, Offset, logSize, Lag, Owner for the specified set of Topics and Consumer Group
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
required argument: [group]
Option Description
------ -----------
--broker-info Print broker info
--group Consumer group.
--help Print this message.
--topic Comma-separated list of consumer
  topics (all topics if absent).
--zkconnect ZooKeeper connect string. (default: localhost:2181)
Example,
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv
Group           Topic              Pid Offset   logSize    Lag    Owner
pv              page_visits        0   21       21         0      none
pv              page_visits        1   19       19         0      none
pv              page_visits        2   20       20         0      none

9、删除指定的topic

首先在kafka配置文件server.properties添加配置项 delete.topic.enable=true
之后执行命令：kafka-topics.sh --delete --zookeeper 【zookeeper server】 --topic 【topic name】

10、kafka数据迁移

方法一：通过增加partition数量

kafka-topics.sh --zookeeper localhost:2181 --alter --topic demo1 --partitions 3

方法二：通过重新分配partition

编写分配脚本并执行分配计划

vi ~/kafka_add_replicas.json

内容如下：

{"topics":
 [{"topic":"prod_log_simul"}],
 "version": 1
 }

之后运行分配计划

kafka-reassign-partitions.sh --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --topics-to-move-json-file ~/kafka_add_replicas.json --broker-list "0,1,2" --generate

–topics-to-move-json-file：自己编写的分配脚本
–broker-list：中间写的是kafka broker集群的编号，例如：“125,127,10”

2.根据上一步生成的分配计划复制并配置json文件topic-reassignment.json，进行topic的重新分配

vi ~/topic-reassignment.json

之后把Proposed partition reassignment configuration #建议的分区配置

{“version”:1,“partitions”:[{“topic”:“event_request”,“partition”:0,“replicas”:[6,5]},{“topic”:“event_request”,“partition”:1,“replicas”:[7,6]}]}

的内容复制到文件里，然后根据自己的需要修改。
3.执行分配

kafka-reassign-partitions.sh --zookeeper $ZK_CONNECT --reassignment-json-file topic-reassignment.json --execute

执行前的分区分布：

[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name
Topic:event_request        PartitionCount:2   ReplicationFactor:2        Configs:
        Topic: event_request      Partition: 0       Leader: 3  Replicas: 3,4 Isr: 3,4
        Topic: event_request      Partition: 1       Leader: 4  Replicas: 4,5 Isr: 4,5
执行后的分区分布：
[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name
Topic:event_request        PartitionCount:2   ReplicationFactor:4        Configs:
        Topic: event_request      Partition: 0       Leader: 3  Replicas: 6,5,3,4     Isr: 3,4
        Topic: event_request      Partition: 1       Leader: 4  Replicas: 7,6,4,5     Isr: 4,5
     ```
4. 检查分配的状态

查看分配的状态：正在进行
```bash
[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-reassign-partitions.sh --zookeeper $ZK_CONNECT --reassignment-json-file topic-reassignment.json --verify
Status of partition reassignment:
Reassignment of partition [event_request,0] is still in progress
Reassignment of partition [event_request,1] is still in progress

查看“is still in progress” 状态时的分区，副本分布状态：
发现Replicas有4个哦，说明在重新分配的过程中新旧的副本都在进行工作。

[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name       
        PartitionCount:2   ReplicationFactor:4        Configs:
        Topic: event_request      Partition: 0       Leader: 3  Replicas: 6,5,3,4     Isr: 3,4
        Topic: event_request      Partition: 1       Leader: 4  Replicas: 7,6,4,5     Isr: 4,5

查看分配的状态：分配完成。

[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-reassign-partitions.sh --zookeeper $ZK_CONNECT --reassignment-json-file topic-reassignment.json --verify
Status of partition reassignment:
Reassignment of partition [event_request,0] completed successfully
Reassignment of partition [event_request,1] completed successfully

查看“completed successfully”状态的分区，副本状态：
已经按照生成的分配计划正确的完成了分区的重新分配。

[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name Topic:event_request        PartitionCount:2   ReplicationFactor:2        Configs:
        Topic: event_request      Partition: 0       Leader: 6  Replicas: 6,5 Isr: 6,5
        Topic: event_request      Partition: 1       Leader: 7  Replicas: 7,6 Isr: 6,7

11、kafka-configs.sh的使用–修改参数配置项

脚本语法解析

kafka-configs.sh参数解析

kafka新建分区 kafka增加分区数_json

语法格式

增加配置项

某个topic配置对象

bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type topics --entity-name topicName  --add-config 'k1=v1, k2=v2, k3=v3'

所有clientId的配置对象

bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type clients --entity-default --add-config 'k1=v1, k2=v2, k3=v3'

例子

bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type topics --entity-name topicName  --add-config 'max.message.bytes=50000000, flush.messages=50000, flush.ms=5000'
bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type topics --entity-name topicName  --add-config 'max.message.bytes=50000000' --add-config 'flush.messages=50000'

删除配置项

bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type topics --entity-name topicName --delete-config ‘k1,k2,k3’
bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type clients --entity-name clientId --delete-config ‘k1,k2,k3’
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type brokers --entity-name $brokerId --delete-config ‘k1,k2,k3’
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type brokers --entity-default --delete-config ‘k1,k2,k3’
例子
bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --alter --entity-type topics --entity-name test-cqy --delete-config 'segment.bytes'

修改配置项
修改配置项与增加语法格式相同，相同参数后端直接覆盖
列出entity配置描述

bin/kafka-configs.sh --zookeeper localhost:2181/kafkacluster --entity-type topics --entity-name topicName --describe
bin/kafka-configs.sh--bootstrap-server localhost:9092 --entity-type brokers --entity-name $brokerId --describe
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --describe
bin/kafka-configs.sh  --zookeeper localhost:2181/kafkacluster --entity-type users --entity-name user1 --entity-type clients --entity-name clientA --describe

12、kafka调整分区副本数

创建配置文件 increase-replication-factor.json，这个配置文件说明，

kafka新建分区 kafka增加分区数_kafka_02

{
    "partitions": [{
            "topic": "ba_spam_content",
            "partition": 0,
            "replicas": [1, 2]
        },
        {
            "topic": "ba_spam_content",
            "partition": 1,
            "replicas": [0, 2]
        },
        {
            "topic": "ba_spam_content",
            "partition": 2,
            "replicas": [1, 0]
        }
    ],
    "version": 1
}

可以看到，单机的情况，replicas 只在0这个broke上。

kafka新建分区 kafka增加分区数_kafka_03

开始设置副本数

./bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file  increase-replication-factor.json --execute

#查看副本情况

./bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file  increase-replication-factor.json --verify

#查看分区信息

kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic ba_spam_content

验证设置的结果情况，可以看到，我们的结果非常好，都成功了

kafka新建分区 kafka增加分区数_kafka新建分区_04

后面可以看到配置很OK，看到有备份信息了。

kafka新建分区 kafka增加分区数_kafka_05

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：jenkins pipeling json字符串转义 jenkins pipeline语法

下一篇：LSTM 激活函数前进行卷积运算 lstm gate激活函数

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯