详细介绍了kafka在centos上部署虚拟机群的配置方法
1 配置jdk8
假设安装(解压)路径：jdk1.8.0
修改/etc/profile，增加以下设置并保存
Export JAVA_HOME=jdk1.8.0
Export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
Export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
命令行中执行source /etc/profile
2 Zookeeper centos7 虚拟机群部署
假设目录结构为
/opt/zookeeper/ #zookeeper存放目录
/opt/zkdata#快照日志的存储路径
/opt/zklog#事物日志的存储路径
1.1 在每台机器上修改配置文件
（1）进入/opt/zookeeper/conf，建立配置文件并修改。
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改内容如下：
tickTime=2000
#这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
initLimit=10
#这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
syncLimit=5
#这个配置项标识 Leader 与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是5*2000=10秒
dataDir=/opt/zkdata
#快照日志的存储路径
dataLogDir=/opt/zklog
#事物日志的存储路径，如果不配置这个那么事物日志会默认存储到dataDir制定的目录，这样会严重影响zk的性能，当zk吞吐量较大的时候，产生的事物日志、快照日志太多
clientPort=12181
#这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。修改他的端口改大点
server.1=192.168.7.100:12888:13888
server.2=192.168.7.101:12888:13888
server.3=192.168.7.107:12888:13888
#server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
#192.168.7.107为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888
（2）在每台机器创建myid文件
#server1
echo "1" > /opt/zookeeper/zkdata/myid
#Echo “ ”中的整数要与zoo.cfg文件中server. 后面的数字相同
（3）启动zookeeper
/opt/zookeeper/bin/zkServer.sh start
（4）查看服务状态
/opt/zookeeper/bin/zkServer.sh status
正常应显示如下信息：
JMX enabled by default
Using config: /opt/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg #配置文件
Mode: follower #是否为领导
1.2 Zookeeper常见启动错误排查
排查方法：启动时打开日志./zkServer.sh start-foreground并观察
常见原因及解决方法：
（1）zookeeper配置错误
检查各项配置即可，例如路径、端口号等
（2）检查是否存在myid文件，内容是否正确
（3）出现“no route to host”
关闭防火墙即可：systemctl stop firewalld.service
systemctl disable firewalld.service
（4）”bindException”
查看端口占用
Lsof -i:12181#zoo.cfg中的clientPort
若有其他程序占用则考虑终止该进程
Kill -9 PID
常用命令：
Uname -a 查看位数
Cat /etc/os-release 查看系统版本
2 Kafka分布式部署
下载kafka二进制包并解压，假设解压路径：kafka
注意：zookeeper-server与kafka-server的启动需root用户权限
（1）修改kafka配置
vim kafka/config/server.properties
修改内容如下:
broker.id=1 # 每台服务器的broker.id都不能相同
#hostname
host.name=192.168.7.100
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:12181
（2）在每台机器上启动kafka
Kafka/bin/kafka-server-start.sh kafka/config/server.properties
检查kafka服务是否启动
（3）创建、发布、订阅消息
a）创建Topic
kafka/bin/kafka-topics.sh --create --zookeeper IP:12181 --replication-factor 2 --partitions 1 --topic testtopic
b）创建一个发布者
kafka/bin/kafka-console-producer.sh --broker-list IP:9092 --topic testtopic
c）创建一个订阅者
bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --from-beginning --topic testtopic
3 Centos 虚拟集群网络配置
（1）首先查看网卡设备是否为eth0,若不是转至步骤2，否则转至步骤4
ifconfig -a
（2）修改网卡配置
vim /etc/sysconfig/grub
找到“GRUB_CMDLINE_LINUX”，增加net.ifnames=0 biosdevname=0并保存
（3）执行grub2-mkconfig -o /boot/grub2/grub.cfg
（4）更改/etc/sysconfig/network-scripts/目录下的ifcfg-eno16777736为ifcfg-eth0,并修改里面
内容。如下：
- DEVICE=eth0
- BOOTPROTO=static
- IPADDR=192.168.17.100
- NETMASK=255.255.255.0
- HWADDR=00:0C:29:9C:48:B4
- IPV6INIT=no
- NM_CONTROLLED=yes
- ONBOOT=yes
- TYPE=Ethernet
- UUID=35d96ab0-4a6a-4cca-b6c9-fbe24003a44d
- DNS1=192.168.17.2
- GATEWAY=192.168.17.2
其中地址在VM的“虚拟网络编辑器”中查看或修改，并设置虚拟机的网络设置，如下图
（5）重启，ifconfig查看是否成功。
（6）在每台机器上完成以上步骤
（7）Ping 其他机器IP，若ping成功则集群网络配置成功
