一、简介 Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。流处理平台有以下3个特性：可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可以在流式记录产生时就进行处理。1.1 消息队列的两种模式1.1.1 点对点模式生产者将消息发送到queue中，然后消费者
一.关于Topic和PartitionTopic在kafka中，topic是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到kafka集群的 消息都有一个类别。物理上来说，不同的topic的消息是分开存储的， 每个topic可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。Partition每个topic可以划分多个分区（每个Topic至少有一个分区），同一topic
转载
2024-02-29 09:40:56
174阅读
文章目录一、什么是Kafka？二、Kafka介绍1.特征2.Kafka名词解释3.Kafka常用命令1.Kafka服务2.Topic3.Produce4.Consumer5.Consumer Group6.Kafka 自带压测脚本4.Kafka API1.Topic2.Produce 一、什么是Kafka？kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于
转载
2024-02-18 20:25:02
49阅读
我们在开发的时候经常会用到kafka作为消息订阅模式，里面会涉及到很多参数的配置，通过参数配置取优化业务处理的过程。其中，我们最常用的参数如下:kafka:
consumer:
enable-auto-commit: true
group-id: groupid
auto-commit-interval: 1000
auto-offset-reset: late
转载
2024-03-21 11:25:50
113阅读
kafka-其他参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看topic 级别参数topic级别的参数是指覆盖 broker 端全局参数；每个不同的 topic 都可以设置自己的参数值。举例来说，上面提到的日志
转载
2024-03-19 10:23:24
43阅读
Kafka架构Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。而topic是逻辑上的概念，并没有真实存在，真实存在的式topic下的partition，是一个物理概念，每一个partition对应于一个log文件，用于存储producer生产的数据，producer生产的数据会不断追加到该log文件的末端，每条数据均有
Kafka本文全部内容为个人理解、做记录用，如果有误请不吝指正 一个分布式的，基于pub-sub的消息队列。Kafka是消费者主动拉取消息的。 在大数据领域作为消息传递中间件应用广泛，业界如果使用spark计算框架，有9成以上消息队列都是使用kafka。架构Topic：相同类型的消息按照主题来存放，不然那不就乱了么。例如你的购物车数据应该放购物车Topic，单个订单数据应该放在订单TopicPar
记录：458场景：在Spring Boot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka的Topic的创建和删除。版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。Kafka安装：1.微服务中配置Kafka信息1.1在pom.xml添加依赖pom.xml文件：<depend
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。1. 发布/订阅模式一对多，生产者将消息发布到 topic 中，有多个消费者订阅该主题，发布到 topic 的消息会被所有订阅者消费，被消费的数据不会立即从 topic 清除。2. 架构Kafka 存储的消息来自任意多被称为 Producer 生产者的进程。数据从而可以被发
前面我们了解完broker的配置，现在我们来看下topic的配置：1.cleanup.policy 字符串要么是“delete”，要么是“compact”，或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr
转载
2024-02-28 09:30:34
105阅读
本文作者：明成Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
1.kafka中topic的概念
在kafka中，topic只是存储消息的一个逻辑的概念，他并没有实际的文件存在磁盘上，可以认为是某一类型的消息的集合。所有发送到kafka上的消息都一个类型，这个类型就是他的topic。在物理上来说，不同的topic的消息是分开存储的。同时，一个topic可以有多个producer和多个consumer。
2.
转载
2024-03-18 00:02:18
96阅读
zookeeper: 负责集群元数据管理、控制器的选举等操作producer: 将消息发送到 brokerbroker: 将收到的消息存储到磁盘中consumer: 负责从 broker 订阅并消费消息topic: 消息主题（逻辑概念），生产者和消费者都以 topic 为单位进行生产和消费partition: 分区（也称作 topic-partition 主题分区，topic 的物理概念），同一个
转载
2024-03-18 16:55:43
48阅读
前言一个系统随着用户数增加，那么推送到kafka服务器的数据流量会增加。很有可能原有的服务器数量无法支撑更多的流量，接着就需要增加更多的服务来分摊流量。本篇接下来就会介绍，如何操作kafka数据在服务器之间迁移。方法一：通过增加partition数量通过增加partition数量的方式来迁移数据的方式是非常简单的，因为新建的partition肯定会均匀的分配到多节点上。首先准备三个kafka br
Kafka 位移主题位移格式创建位移提交位移删除位移 Kafka 的内部主题 (Internal Topic) : __consumer_offsets (位移主题，Offsets Topic)老 Consumer 会将位移消息提交到 ZK 中保存当 Consumer 重启后，能自动从 ZK 中读取位移数据，继续消费上次位置Broker 不用保存位移数据，减少 Broker 开销但 ZK 不适合
前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。以上是针对 Kafka 2.2.x 版本的设置，需要注意的是，在某些旧版本当中，还需要调整相关关联参数，比如 rep
Kafka初识Kafka是什么Kafka是最初由LinkedIn公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。设计理念低延迟：持久化消息、消费消息时间复杂度都为O(1)高吞吐：普通机器也可以实现每秒发送10W条消息水平扩展：broker、producer、consumer都支持在线水平扩展，顺序性：每个partit
001、kafka简介kafka消息队列有两种消费模式，分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。下图是一个点对点的Kafka结构示意图producer：消息生产者consumer：消息消费者Topic：消息主题partition：主题内分区Brokers：消息服务器Groups：消费者组002、关于TopicKafka需要对消息进行逻辑上的分类(而to
转载
2024-03-06 17:45:56
44阅读
官方文档:http://kafka.apache.org/一、topic主题是将记录发布到的类别或订阅源名称。Kafka中的主题始终是多用户的；也就是说，一个主题可以有零个，一个或多个消费者来订阅写入该主题的数据。在kafka中，topic是一个存储消息的逻辑概念，可以认为是一个消息集合。二、partition每个topic可以划分多个分区（至少包含一个），同一个topic下包含的消息是不同的。每
Producer：生产者，发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中。Consumer：消费者，也就是接收消息的一方。消费者连接到Kafka上并接收消息，进而进行相应的业务逻辑处理。Broker：服务代理节点。主题(topic): Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题
转载
2024-03-16 13:45:38
60阅读
