kubernetes - 使用 Stackdriver 和 GKE 更改容器状态

Question

我肯定错过了一些明显的东西。当容器无法启动时，GCP 会为我提供各种可见的指示。例如:


但是我一生都无法弄清楚如何在容器状态不正常时发出警报。
它是如何完成的？

Answer 1

CrashLoopBackOff indicates that a container is repeatedly crashing after restarting. A container might crash for many reasons, and checking a Pod's logs might aid in troubleshooting the root cause.

除了错误短信 Does not have minimum availability ，可能还有其他错误文本消息，例如 Failed to pull image .但是，我建议您识别适合您环境的错误文本消息。您可以咨询 kubectl logs <pod_name>或在日志查看器上。
供您引用，这里是对 pod issues 的解释。 :

CrashLoopBackOff 表示容器已下载但无法运行

ImagePullBackOff 表示图片未下载

“没有最低可用性”意味着集群上没有可用的资源，但不是特定于缺乏资源。例如，可能有可用的节点，但每个部署都无法在它们上调度 pod。

“cpu 不足” 表示节点上的 cpu 不足。

“不定期”表示您的 Pod 由于资源不足或配置错误而无法调度。

考虑到这一点，这里是创建基于日志的指标的分步操作，以便以后基于它创建警报。

设置 Logs-based Metric使用参数:

resource.type="k8s_pod"
severity>=WARNING
unschedulable

您可以将过滤器更换为更适合您的情况的过滤器。

在度量标准中创建一个标签，以便您识别 unschedulable 的 pod (或其他状态)。当您为失败的 pod 创建警报时，这也将有助于分组。

在 Stackdriver Monitoring 中，create an alert具有以下参数。

将资源类型设置为 k8s_pod

将指标设置为您在步骤 1 中创建的指标

设置 Group By到pod_name (也在步骤 1 中创建)

在高级聚合部分中，将对齐器设置为 sum对齐周期为5m (或者你认为更合适的)。

配置条件触发器For超过 1 分钟，以防止警报反复触发。这也可以根据您的要求进行配置。

我希望这些信息对您有所帮助，如果您有任何问题，请在评论中告诉我。