prometheus - 警报警报管理器中许多主机缺少指标

Question

我有很多使用 Prometheus 进行监控的服务器，每个主机都有相同的指标。

我需要一个警报规则，当 5m 后特定主机上缺少特定指标(例如 some_metrics)时发出警报。

我检查了 absent 和 absent_over_time，但这些函数不会返回缺少指标的标签，例如 ip 或 hostname.

此外，我应该声明我不想为每个主机创建规则。

我已经搜索过，但没有找到任何解决方案。

有什么解决办法吗？

Answer 1

为了获取标签，您需要一个包含您想要的所有标签的指标。通常，up 是一个不错的选择，它还可以区分缺失的指标和无法到达的目标。

如果 up(在作业上)为 1，则规则将发出警报，并且如果实例上存在指标，UNLESS 二元运算符将禁用警报:

- alert: MissingMetricInFooTarget
  rule: up{job="foo"} == 1 UNLESS ON(instance) some_metrics{job="foo"}