prometheus - 如何使用 Promtail/Loki - AlertManager 为我的日志中的每个错误发送警报？

Question

我正在使用 Promtail + Loki 来收集我的日志，但我不知道如何提醒 每我的日志文件中的错误。我也在使用 Prometheus、Alertmanager 和 Grafana。我看到有些人已经成功地做到了这一点，但他们都没有解释细节。需要明确的是，我不是在寻找处于 FIRING 状态的警报或具有“警报”状态的 Grafana 仪表板。我所需要的就是每次在我的一个日志中出现错误时都知道。
如果不能完全以这种方式完成，下一个最佳解决方案是每 X 秒抓取一次，然后发出类似“6 条新错误消息”的警报。

Answer 1

Loki v2.0 提供了一种新的警报方式:https://grafana.com/docs/loki/latest/alerting/
您现在可以直接在 Loki 中配置它并将其发送到 Alertmanager。
更新:
根据要求提供一个简单的警报示例:

  groups:
  - name: NumberOfErrors
    rules:
    - alert: logs_error_count_kube_system
      expr: rate({namespace="kube-system"} |~ "[Ee]rror"[5m]) > 5
      for: 5m
      labels:
        severity: P4
        Source: Loki