Kafka_2.12-3.1.0集群环境搭建

  • 一、环境说明
  • 二、安装步骤



一、环境说明

目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：
1. 使用内置的zookeeper 如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper 需要提前安装好zookeeper集群

在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。

  1. zookeeper环境配置如下：

节点

安装路径

dataDir路径

hadoop002

/training/zookeeper-3.4.5

/training/zookeeper-3.4.5/tmp

hadoop003

/training/zookeeper-3.4.5

/training/zookeeper-3.4.5/tmp

hadoop004

/training/zookeeper-3.4.5

/training/zookeeper-3.4.5/tmp



  1. kafka环境配置如下：

节点

安装路径

Log路径

hadoop002

/training/kafka-cluster/

/training/kafka-cluster/kafka-logs/

hadoop003

/training/kafka-cluster/

/training/kafka-cluster/kafka-logs/

hadoop004

/training/kafka-cluster/

/training/kafka-cluster/kafka-logs/



二、安装步骤

  1. 上传Kafka安装包，解压安装
tar -zvxf kafka_2.12-3.1.0.tgz -C /training
  1. 修改server.properties文件,只需要修改如下几项即可：
broker.id=0
log.dirs=/training/kafka-cluster/kafka-logs
zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
group.initial.rebalance.delay.ms=3

其他配置默认即可

  1. 分发整个Kafka安装目录到其他节点
scp -r /training/kafka-cluster root@hadoop003:/training/
 scp -r /training/kafka-cluster root@hadoop004:/training/
  1. 到其他两个节点分别修改server.properties中的broker.id为：1和2，
    注意：broker.id 不得重复
  2. 启动Kafka集群
  1. 先启动zookeeper集群（自行启动）
  2. 依次在hadoop002、hadoop003，hadoop004上启动Kafka集群,执行如下命令：
kafka-server-start.sh server.properties &
  1. 注意：该命令是相对路径下执行且以后台进程方式启动Kafka
  2. 验证: 三节点上执: jps命令即可看到进程名称为：Kafka





Kafka_2.12-3.1.0集群环境搭建

  • 一、环境说明
  • 二、安装步骤



一、环境说明

目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：
1. 使用内置的zookeeper 如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper 需要提前安装好zookeeper集群

在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。

  1. zookeeper环境配置如下：

节点

安装路径

dataDir路径

hadoop002

/training/zookeeper-3.4.5

/training/zookeeper-3.4.5/tmp

hadoop003

/training/zookeeper-3.4.5

/training/zookeeper-3.4.5/tmp

hadoop004

/training/zookeeper-3.4.5

/training/zookeeper-3.4.5/tmp



  1. kafka环境配置如下：

节点

安装路径

Log路径

hadoop002

/training/kafka-cluster/

/training/kafka-cluster/kafka-logs/

hadoop003

/training/kafka-cluster/

/training/kafka-cluster/kafka-logs/

hadoop004

/training/kafka-cluster/

/training/kafka-cluster/kafka-logs/



二、安装步骤

  1. 上传Kafka安装包，解压安装
tar -zvxf kafka_2.12-3.1.0.tgz -C /training
  1. 修改server.properties文件,只需要修改如下几项即可：
broker.id=0
log.dirs=/training/kafka-cluster/kafka-logs
zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
group.initial.rebalance.delay.ms=3

其他配置默认即可

  1. 分发整个Kafka安装目录到其他节点
scp -r /training/kafka-cluster root@hadoop003:/training/
 scp -r /training/kafka-cluster root@hadoop004:/training/
  1. 到其他两个节点分别修改server.properties中的broker.id为：1和2，
    注意：broker.id 不得重复
  2. 启动Kafka集群
  1. 先启动zookeeper集群（自行启动）
  2. 依次在hadoop002、hadoop003，hadoop004上启动Kafka集群,执行如下命令：
kafka-server-start.sh server.properties &
  1. 注意：该命令是相对路径下执行且以后台进程方式启动Kafka
  2. 验证: 三节点上执: jps命令即可看到进程名称为：Kafka