1.目标

在这个Apache Kafka 教程中,我们将学习Kafka Broker。Kafka Broker管理主题中的消息存储。如果Apache Kafka有多个代理,那就是我们所说的Kafka集群。此外,在本Kafka Broker教程中,我们将学习如何启动Kafka Broker和Kafka命令行选项。那么,让我们开始Apache Kafka Broker。

Kafka Broker | 命令行选项和过程

2.什么是Kafa经纪人?

Kafka代理也称为Kafka服务器和Kafka节点。这些所有名称都是它的同义词。简单来说,经纪人是两者之间的中介。但是,Kafka经纪人更准确地描述为消息代理,它负责调解不同计算机系统之间的对话,保证将消息传递给正确的各方。阅读Apache Kafka Security | Kafka的需求和组件因此,Kafka集群通常由多个代理组成。Kafka Cluster使用Zookeeper来维护集群状态。单个Broker每秒可以处理数千次读写操作。 然而,如果没有性能影响,每个代理都可以处理TB消息。另外,要非常肯定ZooKeeper会执行经纪人领袖选举。

经纪人在卡夫卡的工作

基本上,Kafka中的经纪人被建模为主持主题的KafkaServer。在这里,给定的主题总是在代理之间进行分区,在集群中,单个代理实际上托管一个或多个主题的主题分区,即使主题仅分区到单个分区也是如此。了解Apache Kafka Consumer | Kafka Consumer的示例此外,生产者在收到经纪人将其存储在由唯一偏移量键入的磁盘上后,向代理发送消息。此外,通过主题,分区和偏移,代理允许消费者获取消息。但是,代理可以通过使用Zookeeper直接或间接地相互共享信息来创建群集。此外,我们可以说Kafka集群只有一个代理作为控制器。通过使用kafka-server-start.sh脚本,我们可以启动一个Kafka经纪人。

3.如何启动Kafka Broker?

  • 启动Zookeeper。
1. ./bin/zookeeper-server-start.sh config / zookeeper.properties

我们可以启动一个Kafka服务器,只有当Zookeeper启动并运行时(它将连接到Zookeeper)。

1. ./bin/kafka-server-start.sh config / server.properties
2. kafka-server-start.sh脚本

因此,kafka-server-start.sh 启动经纪人。

1. $ ./bin/kafka-server-start.sh
2. 用法:./ bin / kafka-server-start.sh [ -daemon ] server.properties [ --override property = value ] *

注意 -在运行kafka-server-start.sh 之前,请确保Zookeeper已启动并运行。而且,使用zookeeper-server-start shell脚本。看看Apache Kafka + Spark Streaming Integrationkafka-server-start.sh 使用config / log4j.properties来记录我们可以使用KAFKA_LOG4J_OPTS 环境变量覆盖的配置。

1. KAFKA_LOG4J_OPTS = “ - Dlog4j.configuration = file:config / log4j.properties”

kafka-server-start.sh 接受KAFKA_HEAP_OPTS和EXTRA_ARGS 环境变量。

4.卡夫卡命令行选项

-name 在守护进程模式下默认为kafkaServer。-loggc 在守护进程模式下启用。-daemon 启用守护程序模式。-override property = value 应覆盖server.properties文件中为property设置的值的值。让我们修改Apache Kafka Streams | 流处理拓扑

1. $ ./bin/kafka-server-start.sh config / server.properties --override broker.id = 100
2. ...
3. 信息[ KafkaServer id = 100 ]已启动(kafka.server.KafkaServer )

5.结论

因此,我们已经学习了完整的Kafka Broker以及启动它的命令。但是,如果有任何疑问,请随时在评论部分询问。另请参阅 -  Kafka-序列化和反序列化以