Kafka与时间轮Kafka中存在大量的延时操作。 1、发送消息-超时+重试机制2、ACKS 用于指定分区中必须要有多少副本收到这条消息，生产者才认为写入成功（延时 等）Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器（SystemTimer）JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度
目录消息存储相关的配置★ 消息的存储介绍★ 消息过期时间及处理方式演示：log.cleanup.policy 属性配置★ 修改指定主题的消息保存时间演示：将 test2 主题下的消息的保存时间设为10个小时1、先查看test2主题下的配置2、然后设置消息的保存时间3、然后再查一遍test2的配置，看是否修改成功★ 查看指定主题的配置命令1：查看所有对象的信息命令2：查看特定主题的信息 消息存储相
参考：深入理解Kafka核心设计和实践原理8、数据保存策略每个partition物理上对应一个文件夹，此文件叫存储该partition中所有消息和索引文件； 1、基于时间的保存策略：log.retition.hours=168(一周) 2、基于大小的保存策略：log.retention.bytes=1073741824（1G）9、kafka的消费过程kafka提供了高级consumerAPI和低级
如何避免Kafka丢消息
无消息丢失配置我们有时候听到开发说消息丢了。遇到这种情况你要想找这个消息通常是去生产者的日志里去看是否发送了这条消息以及去Kafka日志里去找是否有这条消息，不过这都是事后措施，通常来说我们如果要求不丢失消息，那么我们要怎么做呢？但是从上图可以看出来这里面涉及三方，生产者、broker和消费者。对于每一方的消息不丢失其实定义不同
一、问题回顾为了配合krpc的升级，需要升级项目的springboot版本从2.0.2到2.2.1，一开始在本地启动项目一切正常，但是在uat并行环境，出现问题，报错如下：为什么本地没有出现错误而并行环境出现了？二、本地错误场景制造 将本地kafka监听的topic修改成没有的：再次启动：成功造出一样的报错信息！三、原因分析 这个错误的原因是：消费监听接口监听的主题不存在时，默认会报错具体查询了下
摘要：Offset 偏移量，是针对于单个partition存在的概念。作者： gentle_zhou。Kafka，作为一款分布式消息发布和订阅系统，被广泛应用于大数据传输场景；因为其高吞吐量、内置分区、冗余及容错性的特点，可谓是一个很好的大规模消息处理应用的解决方案（行为追踪，日志收集）。基本架构组成Kafka里几有如下大基本要素：Producer：消息生产者，向Kafka cluster内的Br
auto.commit.interval.ms = 5000
auto.offset.reset = latest
bootstrap.servers = [testserver7:9092, testserver5:9092, testserver4:9092]
check.crcs = true
自动检查CRC32记录的消耗
kafka topic的制定，我们要考虑的问题有很多，比如生产环境中用几备份、partition数目多少合适、用几台机器支撑数据量，这些方面如何去考量？笔者根据实际的维护经验，写一些思考，希望大家指正。1.replicas数目 可以从上图看到，备份越多，性能越低，因为kafka的写入只写入主分区，备份相当于消费者从主分区pull数据，这样势必会造成性能的损耗，故建议在生产环境中使用
Kafka常用命令Topic相关创建topicbin/kafka-topics.sh --create --zookeeper node02:2181 --replication-factor 1 --partitions 1 --topic testkafka3.3.1新版本就会提示不兼容，需要改用新版本Exception in thread "main" joptsimple.Unrecog
目录全局设置（h）某个Topic设置（ms）立刻删除（now）查看是否生效日志策略分段策略属性日志刷新策略日志保存清理策略全局设置（h）server.p
原创
2021-09-12 16:43:30
4723阅读
kafka删除topic数据一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时二、清除方式主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13三、kafka配置
转载
2023-10-24 07:40:05
607阅读
目录全局设置（h）某个Topic设置（ms）立刻删除（now）查看是否生效日志策略分段策略属性日志刷新策略日志保存清理策略全局设置（h）server.propertieslog.retention.hours=72log.cleanup.policy=delete某个Topic设置（ms）比如topic：xdoctorx./kafka-configs.sh --zookeeper localhost:2181 --alter --entit.
原创
2022-03-09 11:08:54
1202阅读
step1：如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费程序需要停止。因为如果有程序正在生产或者消费该topic，则该topic的offset信息一致会在broker更新。调用kafka delete命令则无法删除该topic。同时，需要设置 auto.create.topics.enable = false，默认设置为true。如果设置为true，则
原因有研发同事反馈，kafka集群无法消费了，经查看日志，发现数据磁盘占用100%，修改kafka参数（后续详细说明），删除kafka日志，仍无法启动，经与研发同事商量可以删除topic。过程1.与业务同事确定kafka数据保存时间，确定每个分片保存大小，涉及参数：参数名参数含义默认值此处配置log.retention.hours日志保存的时间，可以选择hours,minutes和ms168(7d
转载
2023-11-27 05:52:18
112阅读
# Redis数据过期时间修改
Redis是一种高性能的内存数据库，它支持多种数据类型，并提供了丰富的功能和操作命令。其中一个重要的功能是设置数据的过期时间，通过设置过期时间可以使数据在一段时间后自动删除，从而节省内存空间。本文将介绍如何在Redis中修改数据的过期时间，并提供相应的代码示例。
## 什么是Redis数据过期时间？
Redis中的数据过期时间是一种设置在键值对上的属性，用于指
原创
2023-10-11 10:30:14
34阅读
修改 max.message.bytes： bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name asset-scan-machine-result --add-confi ...
转载
2021-08-05 15:27:00
2182阅读
2评论
AdminClientApache提供的AdminClient中针对Topic的操作除了增删以外，自然还会有查询功能。本篇的主要内容是获取Topic列表，获取单个topic的详细信息等等。当然要完成Topic信息的查询，首先还是需要获取AdminClient，参考【Apache Kafka API AdminClient 获取对象】。更多内容请点击【Apache Kafka API AdminCl
文章目录分区理解一、单播模式，只有一个消费者组1. topic只有1个partition2. topic有多个partition,该组内有多个消费者二、广播模式，多个消费者组2.1. 多个消费者组，1个partition2.2. 多个消费者组，多个partition三、Java实践-producer3.1. 引入依赖3.2. 导入配置3.3. kafka工具类3.4. 发送消息3.5. 消息序列
一、困难点建立topic的时候，可以通过指定参数 --replication-factor 设置备份数量。但是，一旦完成建立topic，则无法通过kafka-topic.sh 或者 命令修改replica数量。二、解决办法 实际上，我们可以考虑一种 “另类” 的办法：可以利用 kafka-reassign-partitions.sh 命令对所有分区进行重新分布，在做分区重新分布的时候，通过增加每个
文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据 Kafka初级前言关于kafka的集群安装这里就先跳过，如果需要相关资料以及学习视频的可以在留言下留下联系信息（邮箱、微信、qq都可），我们直接从kafka的学习开始，这是初级阶段，这篇博主主要讲述kafka的命令行操作。1.topic的增删改查创建主题：切换到kafka的相关目录，进行以下命令行操作bin/
