本文主要是描述Kafka如何安装以及集群如何配置,主要分为两部分:
- Kafka的单机是如何安装的;
- ZooKeeper集群如何配置;
- Kafka的集群是如何配置的。
第一、Kafka单机的安装。
1、从apache官网下载Kafka安装包。
2、打开准备好的虚拟机。虚拟机操作系统为CentOS6.6,IP地址已修改完成,可以使用FinalShell进行连接。上传下载的安装包kafka_2.12-2.2.0.tgz。
3、将文件拷贝到home目录,使用tar命令解压文件。#tar -zxvf kafka_2.12-2.2.0.tgz。
4、为了便于操作,将解压程序拷贝到/usr/local下,并建立软连接。
5、为了便于执行kafka的命令执行,可以设置一下kafka的环境变量。
- #vi /etc/profile
- 添加环境变量
- 执行#source /etc/profile,使环境变量生效。
至此,Kafka的单机安装已基本完成。
第二、ZooKeeper集群的安装及配置
在进行Kafka集群配置前,ZooKeeper集群配置是基础,所以首先进行ZooKeeper的集群配置。准备了三台虚拟机。
1、从apache官网,下载ZooKeeper安装包,并将安装包上传至192.168.111.234虚拟机。
2、解压ZooKeeper安装包至/usr/local目录下。
3、建立软连接。
4、并配置ZooKeeper的环境变量。
5、ZooKeeper配置文件配置。
- 进入/usr/local/zookeeper/conf目录,将zoo_sample.cfg复制为zoo.cfg 。
- 修改数据存储文件。
6、将ZooKeeper部署到235和236另两台虚拟机。
7、在每一台虚拟机上修改zoo.cfg配置文件,添加集群中的服务信息。
8、设置每台服务的myid,此文件位于dataDir目录。在234、235和236中,将myid分别设置为1,2,3。#echo 1>/usr/local/myid #echo 2>/usr/local/myid #echo 3>/usr/local/myid 。
9、启动集群服务。查看集群服务的状态。
- 使用#zkServer.sh start命令启动每台服务。
- 使用#zkServer.sh status查看服务的状态。
- 可以看到有一个领导者,两个跟随者,说明集群配置成功。
第三、Kafka集群的配置。
1、准备三台虚拟机,并分别部署kafka。
2、为了快速部署到其他两台机器上,可以直接使用scp命令拷贝,拷贝完成后分别创建软连接。
3、修改server.properties配置文件
- 修改broker.id
- 放开服务的监听端口
- 修改zookeeper.connect
注:文中的hadoop-server-00、hadoop-server-01、hadoop-server-02为主机名,至于主机名如何配置以及主机如何与IP地址绑定,本文不做介绍。
3、修改其他两台虚拟机的server.properties配置文件,注意broker.id的唯一性。
4、启动每台机器上的kafka服务器。
5、验证kafka集群是否配置成功。
6、查看运行结果,可知kafka集群已配置成功。