0、环境准备:Java 8+ kafka集群搭建
启动kafka服务和集群
本系统里kafka集群是正常运行中的,只是新增一个kafka manager,所以不需要这一步。
1、可以从官网下载源码并编译再安装,但是编译的过程非常非常慢且容易出错,所以本次从网上找了编译好的程序
2、下载安装并启动kafka-manager
1)、下载编译好的程序kafka-manager-1.3.3.7.zip放到服务器目录:/opt/module/
2)、解压文件到当前目录unzip kafka-manager-1.3.3.7.zip
3)、修改配置文件 /opt/module/kafka-manager-1.3.3.7/conf/application.conf
修改文件内的
#kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}
改成
#kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts="172.16.70.175:2181,172.16.70.187:2181,172.16.70.190:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}
注意只改了第一句,第二句不改
地址是zookeeper服务器的地址。
4)、启动服务
bin/kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:
[admin@node21 kafka-manager-1.3.3.7]$ nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9114 &
3、登陆网页版管理平台并配置管理Cluster
http://172.29.32.120:9114/
注意用户名和密码根据/opt/module/kafka-manager-1.3.3.7/conf/application.conf文件中如下的内容确定:
basicAuthentication.enabled=true --是否需要输入用户名和密码,如果是false则不需要输入密码直接登陆
basicAuthentication.username="admin" --用户名
basicAuthentication.password="Lovol#message"--密码
登陆后选择Cluster-ADD Cluster
Cluster Name:名字,按照自己的理解写个不重复的名字即可,我的叫Kafka-Cluster-gcjx-1
Cluster Zookeeper Hosts:172.29.32.111:2181,172.29.32.112:2181,172.29.32.113:2181/kafka
注意此处写的是kafka服务器的地址列表,与配置文件中不同,配置文件是zooker的服务器地址
Kafka Version:有相同版本选择相同版本,没有相同版本的选择与自己的kafka版本最相近的版本,尽量选择高版本。
此处注意怎么查看kafka的版本,如果知道kafka的安装目录,则到安装目录的libs里查找有无名字类似“kafka_2.11-1.0.1-kafka-3.1.0-SNAPSHOT.jar”的文件,则kafka版本是1.0.1.
如果不知道安装目录,可以cd /后执行find . -type d -name kafka查找名字中包含kafka关键字的目录(我还不太懂kafka的安装与配置只能用这种方法,等以后懂了再来优化)。
Poll consumer information (Not recommended for large # of consumers):勾选
Enable Active OffsetCache (Not recommended for large # of consumers):勾选
点击save保存。
然后点击Cluster选择list,就可以看到新建的cluster:Kafka-Cluster-gcjx-1,点击名字上的连接进入页面。
Version、Topics、Brokers都应该有值(因为kafka集群正常运行中的,肯定应该有topic之类的)。
点击上面菜单中的topic,可以看到topic列表
点击consumers,可以看到消费者列表