typora/daliy_note/9月归档/9.26/prometheus无数据报警.md

无数据报警（也称为“空数据报警”或“数据缺失报警”），指的是当预期的数据没有按时到达或数据源停止输出时触发报警。这在监控系统中非常重要，因为它可以帮助你及时发现数据采集系统或服务出现的问题。以下是一个实现无数据报警的方案，主要基于 Prometheus 和 Alertmanager。

方案步骤

1. 配置 Prometheus 规则

在 Prometheus 中配置报警规则，检测某个时间窗口内数据是否缺失。假设你想监控一个指标 http_requests_total，并在 5 分钟内没有任何数据时触发报警。

groups:
  - name: NoDataAlertGroup
    rules:
      - alert: NoDataForHttpRequests
        expr: absent(http_requests_total) == 1
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "No data for http_requests_total"
          description: "No data has been received for the metric http_requests_total in the last 5 minutes."

这个规则使用 absent() 函数来检测 http_requests_total 这个指标是否不存在。如果在 5 分钟内没有数据，这个报警会被触发。

2. 部署 Alertmanager

确保你的 Alertmanager 已经部署并与 Prometheus 集成。你可以在 Prometheus 的配置文件 prometheus.yml 中添加 Alertmanager 的配置。

alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - 'alertmanager-service:9093'

3. 配置 Alertmanager 接收器

在 Alertmanager 的配置文件 alertmanager.yml 中，配置接收器来处理报警通知。以下是一个示例，设置了 Slack 接收器：

route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 3h
  receiver: 'slack-notifications'

receivers:
  - name: 'slack-notifications'
    slack_configs:
      - api_url: 'https://hooks.slack.com/services/T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX'
        channel: '#alerts'
        text: "{{ .CommonAnnotations.description }}"

在这个配置中，route 部分定义了报警的路由规则，receivers 部分定义了接收器的配置。你可以根据需要替换为其他接收器，比如电子邮件、PagerDuty 甚至自定义的 Webhook。

4. 测试报警配置

为了确保无数据报警配置正确，可以手动停止某些数据源或服务，然后观察是否能够及时收到报警通知。

1. 停止数据源：例如，停止发送 http_requests_total 数据的服务。
2. 等待报警：根据配置的 for 时间等待一段时间（如 5 分钟）。
3. 检查报警：在 Slack 或其他接收器中查看是否收到了报警通知。

5. 可视化和监控

使用 Grafana 来可视化和监控这些报警数据，可以帮助你更直观地了解系统的健康状况。

1. 添加 Prometheus 数据源：在 Grafana 中添加 Prometheus 作为数据源。
2. 创建仪表板：创建一个仪表板来展示关键指标和报警状态。例如，你可以创建一个面板来展示 http_requests_total 指标的变化情况，以及当前的报警状态。

6. 优化和调整

根据实际情况，不断优化和调整报警规则。例如，你可能需要：

• 调整报警阈值：根据业务需求调整报警触发的时间窗口和阈值。
• 细化报警规则：为不同的指标配置不同的报警规则，以便更精细地监控系统。

总结

通过上述步骤，你可以在云原生环境中实现无数据报警方案。核心思路是使用 Prometheus 配置 absent() 函数检测数据缺失，并通过 Alertmanager 发送报警通知。结合 Grafana，可以实现可视化监控和报警管理，从而确保系统的可靠性和稳定性。

unless 关键字

在 Prometheus 中，unless 是用于执行集合差集运算的关键字。它用于过滤掉在一个集合中出现但在另一个集合中也出现的数据点。简单来说，A unless B 表示从集合 A 中剔除所有在集合 B 中也出现的数据点。

基本语法

vector1 unless vector2

• vector1：第一个向量表达式。
• vector2：第二个向量表达式。
• 结果：返回在 vector1 中但不在 vector2 中的所有数据点。

示例

假设你有两个指标：up（表示服务是否正常运行）和 http_requests_total（表示 HTTP 请求总数）。你希望找出那些有 HTTP 请求的服务，但这些服务没有运行：

http_requests_total unless up

这个查询将返回那些有 HTTP 请求但服务不在运行状态的实例。

实现无数据报警的另一种方式

你可以结合 unless 关键字来实现无数据报警。假设你想监控一个名为 http_requests_total 的指标，如果某一实例在过去 5 分钟内没有数据，你希望触发报警。你可以使用以下 PromQL 表达式：

up unless http_requests_total[5m]

这个表达式将返回那些在过去 5 分钟内没有 http_requests_total 数据的实例（前提是这些实例仍然在运行状态）。

结合报警规则：

groups:
- name: example-alerts
  rules:
  - alert: NoDataForHttpRequests
    expr: up unless http_requests_total[5m]
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "No data for http_requests_total"
      description: "No data has been received for the metric http_requests_total in the last 5 minutes."

进一步优化和扩展

• 多指标组合：你可以使用 unless 结合多个指标来实现更复杂的报警规则。例如，监控多个服务的健康状态和数据采集情况。
• 细化标签：通过在查询中添加标签，可以细化报警规则。例如，只监控特定服务或特定实例的数据缺失情况。

up{job="myservice"} unless http_requests_total{job="myservice"}[5m]

• 结合其他 PromQL 函数：你可以结合其他 PromQL 函数（如 rate, avg_over_time 等）来实现更复杂的查询和报警规则。

总结

使用 Prometheus 的 unless 关键字，你可以轻松地实现无数据报警。通过编写合适的 PromQL 表达式并配置报警规则，你可以确保在数据缺失的情况下及时收到通知。这是 Prometheus 强大查询功能的一个具体应用，能够帮助你更好地监控和维护你的系统。