zookeeper 安装


kafka 安装

官方下载地址：​​http://kafka.apache.org/downloads.html​​

解压安装包
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

修改文件名
mv kafka_2.12-3.0.0/ kafka

修改配置文件 vim config/server.properties

# 配置日志文件位置
log.dirs=/opt/module/kafka/logs
# 配置zookeeper集群
zookeeper.connect=hadoop100:2181,hadoop101:2181,hadoop102:2181/kafka

把kafka目录整个分发到其他服务器，分发程序

/home/xsync /opt/module/kafka

broker.id不得重复，整个集群中唯一，修改其他机器config/server.properties为broker.id=1和broker.id=2

配置环境变量 vim /etc/profile.d/my_env.sh

#KAFKA_HOME 
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source命令通常用于重新执行刚修改的初始化文件，使之立即生效，而不必注销并重新登录。

source /etc/profile

启动

依次在 hadoop100、hadoop101、hadoop102上启动 Kafka

bin/kafka-server-start.sh -daemon config/server.properties

依次在 hadoop100、hadoop101、hadoop102上关闭集群

bin/kafka-server-stop.sh

kafka集群启停脚本

注意

停止 Kafka集群时，一定要等 Kafka所有节点进程全部停止后再停Zookeeper
集群。因为 Zookeeper 集群当中记录着 Kafka 集群相关信息，Zookeeper 集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死 Kafka进程了。

主题命令

查看当前服务器中的所有 topic

bin/kafka-topics.sh --bootstrap-server hadoop100:9092,hadoop101:9092,hadoop102:9092 --list

创建topic

bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --create --partitions 1 --replication-factor 3 -topic chen

查看topic

bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --describe -topic chen

修改分区数（注意：分区数只能增加，不能减少）

bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --alter --topic chen --partitions 2

删除 topic

bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --delete --topic chen

生产者命令

发送消息

bin/kafka-console-producer.sh -bootstrap-server hadoop100:9092 --topic chen

消费者命令

–from-beginning 参数设置增量还是全量
全量消费

bin/kafka-console-consumer.sh -bootstrap-server hadoop100:9092 --topic chen --from-beginning

增量消费

bin/kafka-console-consumer.sh -bootstrap-server hadoop100:9092 --topic chen