文章目录

  • 简单介绍
  • 环境
  • 软件包下载

  • 部署
  • 解压
  • 配置为系统服务
  • kafka_exporter.service
  • 启动
  • Grafana监控配置
  • prometheus.yml修改
  • prometheus监控&插件方案
  • 总结


简单介绍

kafka_exporter 是一个用于监控 Apache Kafka 集群的开源工具，它是由 Prometheus 社区维护的一个官方 Exporter。该工具通过连接到 Kafka 集群并执行各种查询来收集关于 Kafka 集群的指标，并将这些指标暴露给 Prometheus 监控系统。

以下是 kafka_exporter 的一些主要特点和功能：

  1. 指标收集: kafka_exporter 通过执行 JMX 查询来收集关于 Kafka 集群的各种指标，包括生产者和消费者的吞吐量、分区和副本的状态、日志段的健康状态等。
  2. Prometheus 兼容: kafka_exporter 输出的指标符合 Prometheus 的指标格式，并且可以直接由 Prometheus 进行收集和存储。
  3. 灵活的配置: 用户可以通过配置文件或命令行参数来配置 kafka_exporter 的行为，包括指定要监控的 Kafka 集群地址、JMX 连接参数、指标的收集频率等。
  4. 多版本支持: kafka_exporter 可以与多个版本的 Apache Kafka 兼容，并且可以通过配置选择性地启用或禁用特定版本的指标收集。
  5. 安全性: kafka_exporter 支持通过 SSL/TLS 进行安全连接，以确保监控数据的机密性和完整性。
  6. 自动发现: kafka_exporter 支持 Prometheus 的服务发现功能，可以自动发现和监控所有与之关联的 Kafka 集群。
  7. 易于部署: kafka_exporter 可以作为一个独立的二进制文件部署，并且支持多种部署方式，包括 Docker 容器、系统服务等。

总的来说，kafka_exporter 是一个功能强大且易于使用的工具，可以帮助用户实时监控和诊断其 Apache Kafka 集群的性能和健康状态，从而及时发现和解决潜在的问题。

环境

系统

版本

CentOS

7.6.1810 (Core)

CPU/内存

4核、8G

kafka_exporter

1.6.0

软件包下载

kafka_exporter

部署

解压

[root@A bag]# tar xf kafka_exporter-1.6.0.linux-amd64.tar.gz
[root@A bag]# mv kafka_exporter-1.6.0.linux-amd64 ../kafka_exporter
[root@A bag]# useradd -M -s /sbin/nologin prometheus
[root@A bag]# chown -R prometheus:prometheus /data/kafka_exporter

配置为系统服务

kafka_exporter.service

cat <<EOF>>  /usr/lib/systemd/system/kafka_exporter.service
[Unit]
Description=kafka_exporter
After=network.target

[Service]
User=prometheus
Group=prometheus
Type=simple
ExecStart=/data/kafka_exporter/kafka_exporter --kafka.server=192.168.1.10:9092 --web.listen-address=:9308 --zookeeper.server=192.168.1.10:2181,192.168.1.20:2181,192.168.1.30:2181
[Install]
WantedBy=multi-user.target
EOF

启动

systemctl daemon-reload
systemctl enable kafka_exporter  --now
systemctl status kafka_exporter
systemctl stop kafka_exporter

Grafana监控配置

ID: 7589

prometheus.yml修改

参考

scrape_configs:
  - job_name: kafka
      static_configs:
      - targets: ['192.168.1.10:9308']

prometheus监控&插件方案

prometheus部署

总结

以上是centos上边部署kafka_exporter监控kafka的方法，有问题联系博主，后续也有其他插件