kubernetes - 纠正 GKE 集群中的时钟偏差

Question

我在 prometheus 中配置了以下警报:

alert: ClockSkewDetected
expr: abs(node_timex_offset_seconds{job="node-exporter"})
  > 0.03
for: 2m
labels:
  severity: warning
annotations:
  message: Clock skew detected on node-exporter {{ $labels.namespace }}/{{ $labels.pod }}. Ensure NTP is configured correctly on this host.

此警报是 part of我正在使用的默认 kube-prometheus 堆栈。

我发现此警报每隔一两天就会触发大约 10 分钟。

我想知道如何处理这个问题(警报触发!)。建议在 this answer 中我不需要在 GKE 上自己运行 NTP(我猜是通过守护进程)。

我也热衷于尽可能使用 kube-prometheus 默认值 - 所以我不确定是否增加 0.03 值。

Answer 1

正如答案中所指出的，instances in GCP are preconfigured to have their own NTP server synced ，因此不需要使用 DaemonSets 手动配置它们。

这可能是时钟在 live migrations 上出现偏差的情况。它会自动 catch 但不会触发警报。然而，该理论仅适用于不可抢占的实例。

Some events on GCE instances are supposed to trigger the Clock Skew Daemon这最终将纠正用户发起的更改(或代表用户的流程操作)，因此如果这发生在您的节点中，那是另一种可能性。

不管上述理论如何，并且由于节点是 GKE 中的托管资源，我认为您对 GKE support 有一个非常可靠的案例。进行调查，因为这可能是一个实现细节。