Prometheus Operator实战：从部署到自定义告警的完整指南

Prometheus Operator是Kubernetes上管理Prometheus的配置管理器，通过CRD简化Prometheus的配置管理。本文介绍Prometheus Operator的安装配置和自定义告警实战方法。

一、Prometheus Operator概述

Operator模式

Prometheus Operator通过Custom Resource Definition管理Prometheus配置，将运维知识编码到CRD中。

核心资源

Prometheus CRD定义Prometheus实例、ServiceMonitor定义监控目标、PrometheusRule定义告警规则。

自动服务发现

Operator自动发现ServiceMonitor，自动配置Prometheus抓取目标。

与原生Prometheus区别

原生Prometheus需要手动配置，Operator通过CRD简化配置，支持GitOps管理。

二、安装Prometheus Operator

1. 安装方式

通过Helm安装kube-prometheus-stack，一键部署Prometheus、Grafana、Alertmanager等组件。

2. 默认配置

安装后默认监控Kubernetes集群的核心组件，如APIServer、Kubelet等。

3. 访问UI

通过Ingress或NodePort访问Prometheus UI和Grafana。

4. 默认告警规则

默认包含K8s集群的核心告警规则，如Pod OOM、Node NotReady等。

三、自定义ServiceMonitor

1. 创建ServiceMonitor

为应用创建ServiceMonitor，定义监控的Endpoints、命名空间选择器、标签选择器等。

2. PodMonitor

对于非Service的应用，可以使用PodMonitor直接监控Pod。

3. 指标配置

在ServiceMonitor中指定要抓取的指标路径和端口。

4. 命名空间隔离

通过spec.namespaceSelector控制ServiceMonitor的作用范围。

四、自定义告警规则

1. 创建PrometheusRule

编写PrometheusRule CRD，定义告警规则和告警条件。

2. 告警规则语法

使用PromQL编写告警条件，设置for持续时间和severity级别。

3. 告警分组

将相关告警分组，便于管理和减少告警轰炸。

4. 告警静默

在Alertmanager中设置告警静默，在维护期间暂停告警。

五、Alertmanager配置

1. 路由配置

配置Alertmanager路由规则，将不同告警发往不同的接收人。

2. 接收人配置

配置邮件、Slack、钉钉、企微等接收人信息。

3. 告警抑制

配置告警抑制规则，避免重复告警和告警风暴。

4. 告警恢复

配置告警恢复通知，在问题解决后发送恢复通知。

六、常见问题

Q：ServiceMonitor不生效怎么办？
A：检查ServiceMonitor标签是否与Prometheus的serviceMonitorSelector匹配，检查Endpoints是否存在。

Q：告警太频繁如何处理？
A：调整告警阈值，使用抑制和静默规则，将低优先级告警移到非工作时间。

Q：如何保护Prometheus数据？
A：配置持久化存储，使用Thanos或VictoriaMetrics扩展存储，实现长期保留和高可用。

总结

Prometheus Operator简化了K8s上的监控配置。核心要点：安装kube-prometheus-stack、创建ServiceMonitor监控目标、编写PrometheusRule告警规则、配置Alertmanager通知。掌握这些，K8s监控不再是难题。

瀚煜云提供Prometheus Operator配置和运维服务。