prometheus 监控指定namespace下pods prometheus监控进程状态

转载

mob64ca140caeb2 2024-03-11 21:36:28

如何监控线上正在运营的系统？如何得知系统目前是正常还是异常？ Prometheus是这么一套数据监控解决方案。它能让运维及开发人员随时掌控系统的运行状态，快速定位出现问题的位置，快速排除故障。只要按照 Prometheus的方式来做，按部就班地学习和部署，我们就可以监控机器的 CPU、内存等资源的使用情况、应用程序的运行情况以及业务各项指标的实时数据。并且其与Grafana 配套使用可以呈现出非常多样化的图表配置。对于中小规模的团队来说，可以极大地减少成本，加快研发速度。

一、概述

初识Prometheus

Prometheus 是由 SoundCloud 开发的开源监控报警系统和时序列数据库。从字面上理解，Prometheus 由两个部分组成，一个是监控报警系统，另一个是自带的时序数据库（TSDB）。

2016 年，由 Google 发起的 Linux 基金会旗下的云原生计算基金会（CNCF）将 Prometheus 纳入作为其第二大开源项目。Prometheus 在开源社区也十分活跃，在 GitHub 上拥有4万多 Star,差不多8K的Fork，并且系统每隔一两周就会有一个小版本的更新。

Prometheus架构

prometheus 监控指定namespace下pods prometheus监控进程状态_服务器

从上图可以看到，整个 Prometheus 可以分为四大部分，分别是：

Prometheus 服务器

Prometheus Server 是 Prometheus组件中的核心部分，负责实现对监控数据的获取，存储以及查询。

Process-exporter业务数据源

业务数据源通过 Pull/Push 两种方式推送数据到 Prometheus Server。

AlertManager 报警管理器

Prometheus 通过配置报警规则，如果符合报警规则，那么就将报警推送到 AlertManager，由其进行报警处理。

可视化监控界面

Prometheus 收集到数据之后，由 WebUI 界面进行可视化图标展示。目前我们可以通过自定义的 API 客户端进行调用数据展示，也可以直接使用 Grafana 解决方案来展示。
Prometheus 的实现架构并不复杂。其实就是收集数据、处理数据、可视化展示，再进行数据分析进行报警处理。但其珍贵之处在于提供了一整套可行的解决方案，并且形成了一整个生态，能够极大地降低我们的研发成本。

进程监控服务组件的搭建

下面我们介绍一下使用Prometheus实现进程监控我们需要搭建的组件：Prometheus + Process-exporter + Grafana。由于目前是在内网验证阶段，所以三个组件均安装在同一台服务器上面（系统：centos7.8）。

安装Prometheus

首先先去官网下载对应系统的版本。
下载后上传到部署的服务器，解压：

tar  -vxf  prometheus-2.40.5.linux-amd64.tar.gz

编辑系统服务启动文件

vi/usr/lib/systemd/system/prometheus.service 
[Unit]
Description=prometheus
After=network.target

[Service]
Type=simple
ExecStart=/home/prometheus/prometheus/prometheus --config.file=/home/prometheus/prometheus/prometheus.yml --storage.tsdb.path=/home/prometheus/prometheus/data --storage.tsdb.retention=30d --log.level=info --web.external-url=http://192.168.1.108:9090
Restart=on-failure

[Install]
WantedBy=multi-user.target

保存后，使用systemctl 启动/关闭 Prometheus服务

systemctl daemon-reload
systemctl enable prometheus
systemctl start prometheus

启动后， Prometheus的web界面如下图所示

prometheus 监控指定namespace下pods prometheus监控进程状态_服务器_02

1.安装process-exporter

下载process-exporter

wget https://github.com/ncabatoff/process-exporter/releases/download/v0.7.10/process-exporter-0.7.10.linux-amd64.tar.gz

安装部署process-exporter

tar -xvf process-exporter-0.7.10.linux-amd64.tar.gz
mv process-exporter-0.7.10.linux-amd64 process-exporter

编写配置文件

cd process-exporter
vi config.yaml
process_names:
  - name: "{{.Matches}}"
    cmdline:
    - 'qtalk_api'
  - name: "{{.Matches}}"
    cmdline:
    - 'qtalk_user'
  - name: "{{.Matches}}"
    cmdline:
    - 'qtalk_auth'

编写启动脚本

vi /usr/lib/system/system/process-exporter.service
[Unit]
Description=process_exporter
After=network.target

[Service]
User=root
Type=simple
ExecStart=/home/prometheus/process-exporter/process-exporter -config.path /home/prometheus/process-exporter/config.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

启动

systemctl daemon-reload
systemctl enable process-exporter
systemctl start process-exporter

验证

curl 192.168.1.108:9256/metrics

注意：metrics中包含：namedprocess_namegroup_num_procs{groupname=“map[:qtalk_api]”}即代表启动正确，否则查询config.yaml配置是否正确。

配置Prometheus
在原prometheus.yml的末端添加下面配置

- job_name: 'process'
static_configs:
-targets: ['192.168.1.108:9256']

热加载Prometheus

./promtool check config  prometheus.yml
systemctl reload prometheus.service

2.安装Grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.1-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.1-1.x86_64.rpm
systemctl start grafana-server.service

启动Grafana之后，使用grafana的Web界面登录之后，添加Prometheus的数据源，然后导入Grafana的进程

prometheus 监控指定namespace下pods prometheus监控进程状态_linux_03