from prometheus_client import Gauge, Counter, Histogram, Summary  # 1.Prometheus指标类型
from prometheus_client.core import CollectorRegistry

import prometheus_client
from prometheus_client import Gauge, Counter, Histogram, Summary  # 1.Prometheus指标类型
from prometheus_client.core import CollectorRegistry
from flask import Response, Flask

app = Flask(__name__)
REGISTRY = CollectorRegistry(auto_describe=False)

#2.定义Prometheus指标的数据模型
cup_gauge = Gauge(
    "cpu_usage",      #指标名称（key）
    "统计CUP使用率",  # 指标说明
    ["core_number", "machine_ip"],  # Lable：同1指标可能会匹配到多个目标或者设备，因此使用标签作为指标的元数据可以为指标添加多维度的描述信息，这些Lable作为过滤器进行指标的过滤和聚合；
    registry=REGISTRY)


@app.route('/metrics')
def metrics():
    #3.Prometheus指标的数据模型填充数据
    cup_gauge.labels("1", "192.168.56.18").set(25)
    cup_gauge.labels("2", "192.168.56.18").set(25)
    cup_gauge.labels("3", "192.168.56.18").set(25)
    cup_gauge.labels("4", "192.168.56.18").set(25)

    cup_gauge.labels("1", "192.168.56.19").set(23)
    cup_gauge.labels("2", "192.168.56.19").set(27)
    cup_gauge.labels("3", "192.168.56.19").set(28)
    cup_gauge.labels("4", "192.168.56.19").set(22)

    cup_gauge.labels("1", "192.168.56.20").set(21)
    cup_gauge.labels("2", "192.168.56.20").set(29)
    cup_gauge.labels("3", "192.168.56.20").set(32)
    cup_gauge.labels("4", "192.168.56.20").set(28)

    return Response(prometheus_client.generate_latest(REGISTRY),
                    mimetype="text/plain")


@app.route('/')
def index():
    return "<h1>Customized Exporter</h1><br> <a href='metrics'>Metrics</a>"


if __name__ == "__main__":
    app.run(host='0.0.0.0', port=9100, debug=True)

"""
# HELP cpu_usage 统计CUP使用率
# TYPE cpu_usage gauge
cpu_usage{core_number="1",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="2",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="3",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="4",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="1",machine_ip="192.168.56.19"} 23.0
cpu_usage{core_number="2",machine_ip="192.168.56.19"} 27.0
cpu_usage{core_number="3",machine_ip="192.168.56.19"} 28.0
cpu_usage{core_number="4",machine_ip="192.168.56.19"} 22.0
cpu_usage{core_number="1",machine_ip="192.168.56.20"} 21.0
cpu_usage{core_number="2",machine_ip="192.168.56.20"} 29.0
cpu_usage{core_number="3",machine_ip="192.168.56.20"} 32.0
cpu_usage{core_number="4",machine_ip="192.168.56.20"} 28.0

"""

Exporters

对于那些未内建Instrumentation，没有暴露Prometheus所支持格式的指标数据的应用程序来说，常用的监控方法是在待监控目标应用程序外，单独部署1个指标暴露程序，该类程序统称为Exporter；

换句话说Exporter负责从被监控的目标应用程序上主动采集和聚合原始的数据，并转换/聚合为Prometheus的指标数据格式

Prometheus社区提供了大量的Exporter例如Node Exporter、MogoDB Exporter、MySQL Exporter等；

PushGateway

如果Prometheus的被监控端是1些短期存在的应用程序， 只能通过Push的方式推送报警，可以借助PushGateway组件；

 被监控端推送（Push）监控数据到PushGateway，PrometheusServer的Retrieval（监控信息采集器） 通过Pull的方式，从PushGateway拉取监控数据；

AlertManager

PrometheusServer只能获取报警指标但无法告警，当PrometheusServer抓取到异常值之后，Prometheus支持通过告警机制向用户发送反馈或者警示，已触发用户能及时采取应对措施；

PrometheusServer通过Push的方式，向AlertManager组件推送告警信息；

AlertManager再把各种告警信息，根据用户配置的告警路由，通过各种告警媒介，通知到各种告警接收人；

远端TSDB

数据就是金矿，但Prometheus内建的时序(Time Series)数据库只能存储1个月历史数据；

如果想要保存更长时间的历史监控数据可以使用远端的TSDB例如InfluxDB，对历史告警数据进行长期存储；

有了大量的历史告警数据以及日志，就可以通过机器学习技术，做告警趋势预测，最终达成智能运维目标；

三、Prometheus部署

1.下载相关组件

2.启动PrometheusServer

PrometheusServer程序是Go语言开发的，直接运行二进制文件即可；

PrometheusServer程序自建了仪表板（Instrumentation）工作在http://安装主机的外网IP:9090/metrics；

[root@localhost prometheus-2.40.2]# ls
console_libraries  consoles  data  LICENSE  NOTICE  prometheus  prometheus.yml  promtool
[root@localhost prometheus-2.40.2]# ./prometheus 

3.启动node_exporter

把node_exporter部署在被监控端，貌似没有Windows系统的node_exporter，不过可以自己写1个；

启动node_exporter之后监听在http://被监控主机IP:9100/metrics，PrometheusServer会通过Htttp协议方式来Pull抓取数据；

[root@localhost node_exporter-1.4.0.linux-amd64]# ls
LICENSE  node_exporter  NOTICE
[root@localhost node_exporter-1.4.0.linux-amd64]# ./node_exporter 
ts=2022-11-18T10:22:19.410Z caller=node_exporter.go:182 level=info msg="Starting node_exporter" version="(version=1.4.0, branch=HEAD, revision=7da1321761b3b8dfc9e496e1a60e6a476fec6018)"
ts=2022-11-18T10:22:19.410Z caller=node_exporter.go:183 level=info msg="Build context" build_context="(go=go1.19.1, user=root@83d90983e89c, date=20220926-12:32:56)"
ts=2022-11-18T10:22:19.410Z caller=node_exporter.go:185 level=warn msg="Node Exporter is running as root user. This exporter is designed to run as unprivileged user, root is not required."
ts=2022-11-18T10:22:19.410Z caller=filesystem_common.go:111 level=info collector=filesystem msg="Parsed flag --collector.filesystem.mount-points-exclude" flag=^/(dev|proc|run/credentials/.+|sys|var/lib/docker/.+|var/lib/containers/storage/.+)($|/)
ts=2022-11-18T10:22:19.410Z caller=filesystem_common.go:113 level=info collector=filesystem msg="Parsed flag --collector.filesystem.fs-types-exclude" flag=^(autofs|binfmt_misc|bpf|cgroup2?|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|iso9660|mqueue|nsfs|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|selinuxfs|squashfs|sysfs|tracefs)$
ts=2022-11-18T10:22:19.411Z caller=diskstats_common.go:100 level=info collector=diskstats msg="Parsed flag --collector.diskstats.device-exclude" flag=^(ram|loop|fd|(h|s|v|xv)d[a-z]|nvme\d+n\d+p)\d+$
ts=2022-11-18T10:22:19.411Z caller=node_exporter.go:108 level=info msg="Enabled collectors"
ts=2022-11-18T10:22:19.411Z caller=node_exporter.go:115 level=info collector=arp

4.prometheus.yml 配置

先通过静态配置的方式指定Prometheus去Pull哪些Target；

Prometheus会定时加载prometheus.yml配置文件，之后可以借助Eureka/Consul/Zookeeper这些配置管理中心，实现在不重启PrometheusServer的情况下，被监控端的服务自动发现；

global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

  - job_name: "zhanggen_nodes"
    metrics_path: "/metrics"
    static_configs:
      - targets:
        - "192.168.56.18:9100"

 5.查看被监控的Targets

 6.PromQL查询同1个Job下的报警

运维标准化是运维自动化的前提条件；

如果在配置时，系统层、K8s层、业务应用层，都使用同1个Lable，例如归类为1个Job，就可以把各层相关的报警内容串联起来发送；

四、Prometheus的指标

四种指标类型

Prometheus使用4种方法来描述监视的指标

Counter

计数器用于保存单调递增的数据，例如站点访问次数，不能为负值，也不支持减少，但可以重置为0；

Gauge

仪表盘用于存储有起伏特征的指标数据，例如内存空闲大小

Gauge是Counter的超集，相较于Counter存在指标数据丢失的可能性；

Counter能让用户确切了解指标随着时间的变化状态，而Gauge则可能随着时间流逝而变得精准度越来越低；

Histogram

直方图指标用于描述指标的分布情况，比如对于请求响应时间，总共10w个请求，小于10ms的有5w个，小于50ms的有2w个，小于100ms的有3w个；

Summary

和直方图类似，Summary也是用于描述指标分布情况，不过表现形式不同，比如还是对于请求响应时间，Summary描述则是，总共10w个请求，20%小于10ms，30%小于50ms，50%小于100ms；

指标数据格式

Prometheus仅用于以"键值"形式存储时序式的聚合数据，它并不支持存储文本数据；

# HELP cpu_usage 统计CUP使用率
# TYPE cpu_usage gauge
cpu_usage{core_number="1",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="2",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="3",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="4",machine_ip="192.168.56.18"} 25.0
cpu_usage{core_number="1",machine_ip="192.168.56.19"} 23.0
cpu_usage{core_number="2",machine_ip="192.168.56.19"} 27.0
cpu_usage{core_number="3",machine_ip="192.168.56.19"} 28.0
cpu_usage{core_number="4",machine_ip="192.168.56.19"} 22.0
cpu_usage{core_number="1",machine_ip="192.168.56.20"} 21.0
cpu_usage{core_number="2",machine_ip="192.168.56.20"} 29.0
cpu_usage{core_number="3",machine_ip="192.168.56.20"} 32.0
cpu_usage{core_number="4",machine_ip="192.168.56.20"} 28.0

键

Key称为指标（Metric）名称，通常意味着CPU速率、内存使用率/分区比例等；

标签

同1指标可能会匹配到多个目标或者设备，因此使用标签作为指标的元数据可以为指标添加多维度的描述信息

这些Lable作为过滤器进行指标的过滤和聚合；

值

浮点型数值

五、PromQL

PromQL提供了内置的数据查询语句PromQL（Prometheus Query Language），支持用户进行实时的数据查询以及聚合操作；

PromQL支持处理2种向量，并内置了一组用于数据处理的函数；

• 既时向量：向量就是1个方向的数据，例如最近1次的时间戳上跟踪的数据指标  （1列上的N行，1行上N列数据）；
• 时间范围向量：指定时间范围内所以时间戳上的数据指标（N列上的N行=矩阵）；

min_over_time(kube_pod_container_status_ready{namespace=~"aimaster-user-namespace.*",pod=~"app-workspace.*"}[4h]) == 1

六、告警策略

Alertmanager除了提供基本的告警通知能力以外，还主要提供了如：分组、抑制以及静默等告警特性：

配置实例

groups:
- name: test-mysql-rule
  rules:
  - alert: "连接数报警"
    expr: mysql_global_variables_mysqlx_max_connections > 90   #连接数大于90就告警PromQL
    for: 1s
    labels:
      severity: warning
    annotations:
      summary: "服务名:{{$labels.alertname}}"
      description: "业务msyql连接数不够报警: 当前值为：{{ $value }}"
      value: "{{ $value }}"

参考