本文主要是描述Kafka如何安装以及集群如何配置,主要分为两部分:

  1. Kafka的单机是如何安装的;
  2. ZooKeeper集群如何配置;
  3. Kafka的集群是如何配置的。



kafka集群 rebalancing需要多久 kafka集群部署_安装包


第一、Kafka单机的安装。

1、从apache官网下载Kafka安装包。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_02


2、打开准备好的虚拟机。虚拟机操作系统为CentOS6.6,IP地址已修改完成,可以使用FinalShell进行连接。上传下载的安装包kafka_2.12-2.2.0.tgz。


kafka集群 rebalancing需要多久 kafka集群部署_kafka配置_03


3、将文件拷贝到home目录,使用tar命令解压文件。#tar -zxvf kafka_2.12-2.2.0.tgz。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_04


4、为了便于操作,将解压程序拷贝到/usr/local下,并建立软连接。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_05


5、为了便于执行kafka的命令执行,可以设置一下kafka的环境变量。

  • #vi /etc/profile
  • 添加环境变量


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_06


  • 执行#source /etc/profile,使环境变量生效。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_07


至此,Kafka的单机安装已基本完成。

第二、ZooKeeper集群的安装及配置

在进行Kafka集群配置前,ZooKeeper集群配置是基础,所以首先进行ZooKeeper的集群配置。准备了三台虚拟机。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_08


1、从apache官网,下载ZooKeeper安装包,并将安装包上传至192.168.111.234虚拟机。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_09


2、解压ZooKeeper安装包至/usr/local目录下。


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_10


3、建立软连接。


kafka集群 rebalancing需要多久 kafka集群部署_kafka启动命令_11


4、并配置ZooKeeper的环境变量。


kafka集群 rebalancing需要多久 kafka集群部署_安装包_12


5、ZooKeeper配置文件配置。

  • 进入/usr/local/zookeeper/conf目录,将zoo_sample.cfg复制为zoo.cfg 。


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_13


  • 修改数据存储文件。


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_14


6、将ZooKeeper部署到235和236另两台虚拟机。


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_15


kafka集群 rebalancing需要多久 kafka集群部署_安装包_16


7、在每一台虚拟机上修改zoo.cfg配置文件,添加集群中的服务信息。


kafka集群 rebalancing需要多久 kafka集群部署_安装包_17


8、设置每台服务的myid,此文件位于dataDir目录。在234、235和236中,将myid分别设置为1,2,3。#echo 1>/usr/local/myid #echo 2>/usr/local/myid #echo 3>/usr/local/myid 。


kafka集群 rebalancing需要多久 kafka集群部署_kafka启动命令_18


9、启动集群服务。查看集群服务的状态。

  • 使用#zkServer.sh start命令启动每台服务。
  • 使用#zkServer.sh status查看服务的状态。
  • 可以看到有一个领导者,两个跟随者,说明集群配置成功。


kafka集群 rebalancing需要多久 kafka集群部署_kafka配置_19


kafka集群 rebalancing需要多久 kafka集群部署_安装包_20


kafka集群 rebalancing需要多久 kafka集群部署_安装包_21


第三、Kafka集群的配置。

1、准备三台虚拟机,并分别部署kafka。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_08


2、为了快速部署到其他两台机器上,可以直接使用scp命令拷贝,拷贝完成后分别创建软连接。


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_23


3、修改server.properties配置文件


kafka集群 rebalancing需要多久 kafka集群部署_kafka_24


  • 修改broker.id


kafka集群 rebalancing需要多久 kafka集群部署_安装包_25


  • 放开服务的监听端口


kafka集群 rebalancing需要多久 kafka集群部署_kafka配置_26


  • 修改zookeeper.connect


kafka集群 rebalancing需要多久 kafka集群部署_kafka配置_27


注:文中的hadoop-server-00、hadoop-server-01、hadoop-server-02为主机名,至于主机名如何配置以及主机如何与IP地址绑定,本文不做介绍。

3、修改其他两台虚拟机的server.properties配置文件,注意broker.id的唯一性。

4、启动每台机器上的kafka服务器。


kafka集群 rebalancing需要多久 kafka集群部署_kafka_28


kafka集群 rebalancing需要多久 kafka集群部署_kafka配置_29


5、验证kafka集群是否配置成功。


kafka集群 rebalancing需要多久 kafka集群部署_kafka安装_30


6、查看运行结果,可知kafka集群已配置成功。