docker - 当 docker 容器 pod 出现 Error 或 CarshLoopBackOff kubernetes 时发出警报

Question

我在 AWS 上设置了 kubernetes 集群，我尝试使用 cAdvisor + Prometheus + Alert 管理器来监控多个 Pod。我想要做的是，如果容器/pod 出现故障或陷入错误或 CarshLoopBackOff 状态或 stcuk 处于除运行之外的任何其他状态，则启动电子邮件警报(带有服务/容器名称)。

Answer 1

普罗米修斯收集a wide range of metrics 。例如，您可以使用指标 kube_pod_container_status_restarts_total 来监控重新启动，这将反射(reflect)您的问题。

它包含您可以在警报中使用的标签:

• container=容器名称
• namespace=pod 命名空间
• pod=pod 名称

因此，您需要做的就是配置 alertmanager.yaml config通过添加正确的 SMTP 设置、接收者和规则，如下所示:

global:
  # The smarthost and SMTP sender used for mail notifications.
  smtp_smarthost: 'localhost:25'
  smtp_from: 'alertmanager@example.org'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'

receivers:
- name: 'team-X-mails'
  email_configs:
  - to: 'team-X+alerts@example.org'

# Only one default receiver
route:
  receiver: team-X-mails

# Example group with one alert
groups:
- name: example-alert
  rules:
    # Alert about restarts
  - alert: RestartAlerts
    expr: count(kube_pod_container_status_restarts_total) by (pod-name) > 5
    for: 10m
    annotations:
      summary: "More than 5 restarts in pod {{ $labels.pod-name }}"
      description: "{{ $labels.container-name }} restarted (current value: {{ $value }}s) times in pod {{ $labels.pod-namespace }}/{{ $labels.pod-name }}"