准备工作:

1. 准备3台机器(Linux(ubuntu~16.04.4)),IP地址分别为:192.168.244.201,192.168.244.202,192.168.244.203


2. 下载kafka稳定版本,我的版本为:kafka_2.9.2-0.8.1.1.tgz 

tar -xzf kafka_2.9.2-0.8.1.1.tgz


一、搭建zookeeper集群


安装目录/data/apache/zookeeper-3.4.9

由于zk以前已经安装过了,参考,里面有详细的zk集群搭建步骤。

截图zk启动的命令,以及查看状态的命令,防止忘记

1.201启动的信息

/data/apache/zookeeper-3.4.9/bin/zkServer.sh start
/data/apache/zookeeper-3.4.9/bin/zkServer.sh status
/data/apache/zookeeper-3.4.9/bin/zkServer.sh stop

kafka 一个 broker 支持多少个生产者 kafka broker controller_apache

2.202启动的信息


kafka 一个 broker 支持多少个生产者 kafka broker controller_apache_02

下面的一句话引用网络,再结合上面的信息,后面是另外一个202启动了:

由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以打印出来的部分的异常是可以忽略的。集群在选出一个Leader后,最后稳定了。其他结点可能也出现类似问题,属于正常。

至此,zookeeper集群搭建完成。

二、进入主题kafka集群的搭建

1. 下载并解压Kafka

kafka tgz 下载地址http://kafka.apache.org/downloads

cd /data/apache 执行tar -xzf kafka_2.12-0.10.2.0.tgz


2. 修改配置文件

修改 conf/server.properties

zookeeper.connect=192.168.244.201:2181,192.168.244.202:2181,192.168.244.203:2181

broker.id分别改成

broker.id=201

broker.id=202

broker.id=203

host.name分别改成(如果不改,client访问集群时,如果没在hosts配置对应机器的 hostname,访问将会报错)

host.name=192.168.244.201

host.name=192.168.244.202

host.name=192.168.244.203

可根据需求修改

port: broker节点使用端口号 默认 9092

log.dir: 消息目录位置

log.dirs=/data/usr/kafka_logs

3.复制到其它两台机器上

scp -r /data/apache/kafka_2.12-0.10.2.0/ jack@slave1:/data/apache/

scp -r /data/apache/kafka_2.12-0.10.2.0/ jack@slave2:/data/apache/

4.创建topic并查看

./kafka-topics.sh --create --zookeeper 192.168.244.201:2181 --replication-factor 2 --partitions 2 --topic test-replicated-topic 
 ./kafka-topics.sh --describe --zookeeper 192.168.244.201:2181 --topic my-replicated-topic 
 ./kafka-topics.sh --list --zookeeper 192.168.244.201:2181 
 ./kafka-topics.sh --create --zookeeper 192.168.244.201:2181 --replication-factor 2 --partitions 2 --topic producer_test 
 #查看创建的Topic 
 ./kafka-topics.sh --list --zookeeper node-1:2181 
 #查看相应Topic的情况 
 ./kafka-topics.sh --describe --zookeeper node-1:2181 --topic test 
 #发送消息 
 ./kafka-console-producer.sh --broker-list 192.168.244.201:9092 --topic stock 
 #接收消息 
./kafka-console-consumer.sh --zookeeper 192.168.244.201:2181 --topic stock  --from-beginning


5.停机

ps -ef|grep server.properties

pkill -9 -f server.properties

6.启动

/data/apache/kafka_2.12-0.10.2.0/bin/kafka-server-start.sh /data/apache/kafka_2.12-0.10.2.0/config/server.properties &

7.彻底删除Kafka中的topic(摘抄于)

1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

2、Kafka 删除topic的命令是:

./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

     如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion

     你可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic

     此时你若想真正删除它,可以如下操作:

     (1)登录zookeeper客户端:命令:/data/apache/zookeeper-3.4.9/bin/zkCli.sh

     (2)找到topic所在的目录:ls /brokers/topics

     (3)找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。


    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,

    如果你删除了此处的topic,那么marked for deletion 标记消失

    zookeeper 的config中也有有关topic的信息: ls /config/topics/【topic name】暂时不知道有什么用

总结:

彻底删除topic:

 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

 2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。