Kubernetes 驱逐管理器驱逐控制平面 Pod 以回收临时存储

Question

我正在使用 Kubernetes v1.13.0。我的主节点也用作工作节点，因此除了控制平面 pod 之外，它还运行着工作负载 pod。

我的 master 上的 kubelet 日志显示以下几行:

eviction_manager.go:340] eviction manager:必须驱逐 pod(s) 以回收临时存储
eviction_manager.go:358]驱逐经理:荚排名驱逐:KUBE Controller 的管理器-vm2_kube系统(1631c2c238e0c5117acac446b26d9f8c)，KUBE-API服务器-vm2_kube系统(ce43eba098d219e13901c4a0b829f43b)，ETCD-vm2_kube系统(91ab2b0ddf4484a5ac6ee9661dbd0b1c)

一旦 kube-apiserver pod 被驱逐，集群将变得无法使用。

我能做些什么来解决这个问题？我应该添加更多的临时存储吗？我该怎么做？这意味着向主机上的根分区添加更多空间吗？

我的理解是临时存储包括 /var/log和 /var/lib/kubelet文件夹，它们都位于根分区下。

一个 df -h在我的主持人节目中:

已使用的文件系统大小 Avail Use% Mounted on
/dev/vda1 39G 33G 6.2G 85%/

所以看起来root分区有很多内存，并且没有磁盘压力。那么是什么导致了这个问题呢？我的一些工作舱肯定在存储方面做了一些疯狂的事情，但它仍然是 6G，似乎有足够的空间。

向根分区添加更多空间会暂时解决此问题吗？
kubectl describe vm2提供以下信息:

状况:
类型状态 LastHeartbeatTime LastTransitionTime 原因消息
---- ------ ----------------- ----- ----- - -------
MemoryPressure False Fri, 11 Jan 2019 21:25:43 +0000 Wed, 05 Dec 2018 19:16:41 +0000 KubeletHasSufficientMemory kubelet 有足够的可用内存
DiskPressure False Fri, 11 Jan 2019 21:25:43 +0000 Fri, 11 Jan 20:58:07 +0000 KubeletHasNoDiskPressure kubelet 没有磁盘压力
PIDPressure False Fri, 11 Jan 2019 21:25:43 +0000 Wed, 05 Dec 2018 19:16:41 +0000 KubeletHasSufficientPID kubelet 有足够的 PID 可用
Ready True 2019 年 1 月 11 日星期五 21:25:43 +0000 2018 年 12 月 6 日星期四 17:00:02 +0000 KubeletReady kubelet 发布就绪状态。启用 AppArmor
容量:
中央处理器:8
临时存储:40593708Ki
大页面-1Gi: 0
大页面-2Mi:0
内存:32946816Ki
pod :110
可分配:
中央处理器:8
临时存储:37411161231
大页面-1Gi: 0
大页面-2Mi:0
内存:32844416Ki
pod :110

在我看来，临时存储存在压力，驱逐管理器正试图通过驱逐最近最少使用的 pod 来回收一些存储。但它不应该驱逐控制平面 pod，否则集群将无法使用。

目前，Kubelet 会驱逐控制平面 pod。然后我尝试通过在 /etc/kubernetes/manifests 中添加和删除空格来手动启动 apiserver 和其他控制平面 pod。文件。这确实启动了 apiserver，但随后它又被驱逐了。理想情况下，Kubelet 应该确保 /etc/kubernetes/manifests 中的静态 Pod始终开启并妥善管理。

我试图了解这里发生了什么，以及如何解决这个问题，以便我的 kubernetes 集群变得更加健壮，而且我不必一直手动重新启动 apiserver。

Answer 1

我遇到了同样的问题，并通过更改 evictionHard 的阈值解决了它。

看着 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf我有:

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

所以我看到我的 kubelet 配置文件是 /var/lib/kubelet/config.yaml
打开我将 evitionHard 设置更改为(我认为它们之前是 10% 或 15%):

...
evictionHard:
  imagefs.available: 1%
  memory.available: 100Mi
  nodefs.available: 1%
  nodefs.inodesFree: 1%
...

还有 --experimental-allocatable-ignore-eviction ( https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/ ) 设置应该完全禁用驱逐。