kubernetes - GKE节点意外删除并重新创建

Question

我在Google Kubernetes Engine上创建了一个集群。节点被删除/创建的频率很高(每天至少一次)。即使创建了新实例来替换它们，并且将 pods 移到了这些新节点上，我还是想了解为什么节点消失了。

我检查了用于创建集群和节点池的设置:

在节点池上禁用了“自动节点升级”。

“可抢占节点”已禁用。

“自动节点修复”已启用，但是我看起来好像没有节点修复，因为删除节点时在gcloud container operations list中没有看到任何内容。

我可以看到当前节点都是在21:00(重新)创建的，而集群是在08:35创建的:

➜  ~ gcloud container clusters describe my-cluster --format=json
{
  "createTime": "2019-04-11T08:35:39+00:00",
  ...
  "nodePools": [
    {
      ...
      "management": {
        "autoRepair": true
      },
      "name": "default-pool",
    }
  ],
  "status": "RUNNING",
  ...
}

如何跟踪删除节点的原因？

Answer 1

我试图通过创建集群来重现您的问题，手动停止节点上的kubelet(通过运行systemctl stop kubelet)以触发修复，并观察节点是否恢复。就我而言，我确实看到了自动节点修复的操作，但是我也可以在GCE操作日志中看到该VM已被删除并重新创建(通过GKE机械手帐户)。

如果运行gcloud compute operations list(或检查cloud console page是否有操作)，您应该看到是什么导致了VM的删除和重新创建。