一、kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java语言编写。Kafka是一种高吞吐量的分布式发布-订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这
原创
2021-07-17 11:52:02
158阅读
kafka Kafka是用scala语言编写 1.Kafka的特性 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition，consumer group 对 partition 进行consume操作。 可扩展性：kafka集群支持热 ...
转载
2021-07-28 14:59:00
102阅读
点击上方蓝字关注我们！ 什么是kafka Apache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等作用。同时
原创
2022-09-28 15:56:40
34阅读
初学Kafka，肯定会被各种概念搞得很头疼，所以整理下Kafka进阶学习必须要了解的概念。这篇博客也作为后续Kafka深入理解的前置信息。什么是KafkaKafka基于Scala和Java...
原创
2021-04-27 00:00:00
2397阅读
kafka是什么你可以将它作为消息队列使用，点对点或者发布订阅的模式都可以。你也可以将它作为消息引擎使用，实现信息流的管理。总之，他是传递消息的一个工具。那么，我们首先要知道的问题就是：它是怎么传递消息的。它的优势在哪里。它该怎么使用，怎么写代码。使用的过程中，需要注意什么。下面我们慢慢来看。什么是消息队列消息队列是一种异步的服务间通信方式，适用于无服务器和微服务架构。 消息在被处理和删除之前一直
原创
2021-12-15 13:57:36
272阅读
图文了解Kafka的副本复制机制过往记忆大数据过往记忆大数据也可以到我个人博客阅读（点击下面阅读原文即可）https://www.iteblog.com/archives/2556.html让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。ApacheKafka的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新
原创
2021-03-31 20:22:02
133阅读
点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文If you’re brave to say “good bye”, l...
转载
2021-06-04 18:55:43
138阅读
文章很长，想学习就得有耐心，加油，我在文末等你！ 00 前言 应大部分的小伙伴的要求，在Yarn之前先来一个kafka的小插曲，轻松愉快。 01 Kafka基础 消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的
转载
2023-04-27 01:21:50
49阅读
让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。Apache Kafka 中一个更细微的功能是它的复制协议（replication protocol）。对于单个集群上不同大小的工作负载，调整 Kafka rep
原创
2021-04-05 18:21:51
125阅读
让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。Apache Kafka 中一个更细微的功能是它的复制协议（replication protocol）。对于单个集群上不同大小的工作负载，调整 Kafka rep
原创
2021-04-06 09:31:47
67阅读
一、了解Kafka中的相关概念
MQ作为消息中间件，对于我们来说，已经并不陌生了，那么，由于Kafka它在众多的MQ间是非常火热的，那么必然也是我们需要着重关注的中间件之一了，为了更加清晰的了解Kafka，我们先从Kafka的体系结构入手，看看大体上都包含哪些东西。具体请见下图所示：
其中有一些我们很熟悉的，比如：Producer、Consumer；当然，也有一些陌生的概念，例如：Broker，
原创
2023-08-23 16:14:01
114阅读
图文了解Kafka的副本复制机制也可以到我个人博客阅读（点击下面阅读原文即可）https://www.iteblog.com/archives/2556.html让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。ApacheKafka的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。Ap
原创
2021-03-30 19:46:23
114阅读
图文了解Kafka的副本复制机制过往记忆大数据过往记忆大数据也可以到我个人博客阅读（点击下面阅读原文即可）https://www.iteblog.com/archives/2556.html让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。ApacheKafka的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新
原创
2021-03-31 19:19:35
115阅读
图文了解Kafka的副本复制机制过往记忆大数据过往记忆大数据也可以到我个人博客阅读（点击下面阅读原文即可）https://www.iteblog.com/archives/2556.html让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。ApacheKafka的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新
原创
2021-04-03 16:00:36
207阅读
让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。Apache Kafka 中一个更细微的功能是它的复制协议（replication protocol）。对于单个集群上不同大小的工作负载，调整 Kafka rep
原创
2021-04-06 09:21:45
93阅读
一、了解Kafka中的相关概念 MQ作为消息中间件，对于我们来说，已经并不陌生了，那么，由于Kafka它在众多的MQ间是非常火热的，那么必然也是我们需要着重关注的中间件之一了，为了更加清晰的了解Kaf
原创
精选
2023-11-03 14:28:43
192阅读
之前文章提到过Kafka的broker端有ISR机制，它可以看成多个副本的集合，里面有leader副本和多个follower副本，数量是我们可以配置的，只有ISR中的副本才有可能成为leader副本。 我们可以通过一些参数的配置，例如ack的配置、生产者重试、isr最小数量，消费者改为手动提交等方式来尽可能的保障Kafka的消息可靠性。 Kafka在保证数据的可靠性上使用的是‘数据冗余’的方式，即
转载
2024-03-19 02:02:04
110阅读
kafka设计原理核心总控制器集群中一般会有多个broker，其中一个会被选举为控制器控制器会负责管理所有分区及其副本状态分区leader出现故障，也有控制器负责选举新的leader分区ISR信息发生变化，有控制器负责通知所有broker更新元信息broker增加分区时，同样由控制器负责让其他broker感知到控制器选举记录在zk中的controller临时节点中每个broker启动，都会往zk发
转载
2021-03-22 14:04:04
101阅读
kafka是apache基金会管理的开源流处理平台(官网http://kafka.apache.org/)，但国内大多数人对其认知基本
原创
2021-09-05 15:38:36
39阅读
kafka是apache基金会管理的开源流处理平台(官网http://kafka.apache.org/)，但国内大多数人对其认知基本都是消息队列，所以我们先来了解下什么是消息队列。消息队列消息队列顾名思义就是存储消息的一个队列，消息生产者(producer) 往消息队列中投放消息， 消费者(consumer)读取消息队列中的内容。在消息队列中的每条消息都会有个位置，就好比数组中的下标(i
原创
2021-12-31 14:40:35
72阅读
