对于kafka的架构原理我们先提出几个问题?1.Kafka的topic和分区内部是如何存储的，有什么特点？2.与传统的消息系统相比,Kafka的消费模型有什么优点?3.Kafka如何实现分布式的数据存储与数据读取?一、Kafka架构图 1.kafka名词解释在一套kafka架构中有多个Producer，多个Broker,多个Consumer，每个Producer可以对应多个Topic，
转载
2023-11-01 17:58:19
99阅读
大家都知道 Kafka 是一个非常牛逼的消息队列框架，阿里的 RocketMQ 也是在 Kafka 的基础上进行改进的。对于初学者来说，一开始面对这么一个庞然大物会不知道怎么入手。那么这篇文章就带你先了解一下 Kafka 的技术架构，让你从全局的视野认识 Kafka。了解了 Kafka 的整体架构和消息流程之后，脑海里就会有一个大致的结构，这时候再去学习每个部分就容易得多了。我们先来看一下 Kaf
转载
2023-08-26 15:41:19
92阅读
一、认识kafka面试官提问：什么是 Kafka ？用来干嘛的？官方定义如下：Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thous
原创
2022-02-14 11:06:05
275阅读
类似于公众号订阅缺点；消费者主动拉取的模式中，消费者主动轮询队列有没有消息1：同一个组的消费者，不能消费同一个分区的数据...
原创
2023-02-13 09:25:55
102阅读
Kafka 是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。
转载
2021-07-28 09:56:26
88阅读
Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的事件流（Event Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。Kafka 是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度
转载
2023-10-05 21:29:32
88阅读
Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。 基础 Kafka 是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。 生产者消费者 生产者服务 Producer 向 Kafka
转载
2021-06-04 09:57:00
50阅读
2评论
文章目录RecordBatchRecordBatch初始化写入消息Record结构图关闭Prod
原创
2022-05-25 08:53:32
464阅读
我想很多同学之前可能已经看过很多 Kafka 原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自己又学习到了各种“吊炸天”的技术。但很多同学往往是不觉明厉，把文章结合面试题背一背还能应付一下半吊子面试官。可以遇到老司机面试官，或是进入实战，却对很多概念和实现摸棱两可。
所以，[码哥]决定图解 Kakfa，却让很多半懂不懂的同学可以加深对 Kafka 实现原理的理解。
原创
2021-07-05 18:49:16
250阅读
我想很多同学之前可能已经看过很多 Kafka 原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自己又学习到了各种“吊炸天”的技术。但很多同学往往是不觉明厉，把文章...
转载
2021-07-13 15:43:47
109阅读
我想很多同学之前可能已经看过很多 Kafka 原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自
原创
2022-07-21 15:57:26
94阅读
这是[码哥]Kafka 系列文章的第二篇，码哥将从原理、实践和源码角度为大家深入剖析并实践 Kafka。此系列包括[原理篇]、[实践篇]和[源码篇]。这篇是[原理篇]的第二篇，主要讲解 K...
转载
2022-03-15 11:00:34
69阅读
今天我们来深入讲解 Kafka 的架构和实现原理。本文将从架构和细节入手，以生动的图深入讲解 Kafka 的
转载
2022-10-14 09:29:29
18阅读
这是[码哥]Kafka 系列文章的第二篇，码哥将从原理、实践和源码角度为大家深入剖析并实践 Kafka。此系
原创
2021-06-21 14:12:01
357阅读
今天我们来深入讲解 Kafka 的架构和实现原理。[码哥]将从架构和细节入手，以生动的图深入讲解 Kafka 的实现原理。我想很多同学之前可能已经看过很多 Kafka 原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自己又学习到了各种“吊炸天”的技术。但很多同学往往是不觉明厉，把文章结合面试题背一背还能应付一下半吊子面试官。可以遇到老司机面试官，或是进入实战，却对很多概念和实现摸棱两可。
转载
2021-09-15 16:45:32
79阅读
我想很多同学之前可能已经看过很多 Kafka 原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自己又学习到
转载
2022-04-20 14:40:22
203阅读
kafka基础核心术语Topic 主题Partition 分区，一个主题多个分区Record消息副本Replica，为消息提供冗余 4.1 leader副本，对外提供服务 4.2 follower副本，仅作为冗余数据消息位移Offset： 分区中每条消息的位置，单调递增Producer生产者Consummer消费者消费者位移：记录消费者的进度，每个消费者都有自己的位移消费者组：同一个消费组下，同一
鄙人愚钝，在经历了三天两夜，我终于是搞懂了这Kafka的内部结构，之前看很多文章都是不清晰，脑海中始终没有一个清晰的构图…1. Kafka简介Apache Kafka最早是由LinkedIn开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始，Kafka的标语已经从“一个高吞吐量，分布式的消息系统”改
转载
2023-07-24 14:42:45
134阅读
