azure - 如何配置 pod 中断预算以耗尽 kubernetes 节点？

Question

我想在 AKS 上配置集群自动缩放程序。当缩小规模时，由于 PDB 而失败:

I1207 14:24:09.523313       1 cluster.go:95] Fast evaluation: node aks-nodepool1-32797235-0 cannot be removed: no enough pod disruption budget to move kube-system/metrics-server-5cbc77f79f-44f9w
I1207 14:24:09.523413       1 cluster.go:95] Fast evaluation: node aks-nodepool1-32797235-3 cannot be removed: non-daemonset, non-mirrored, non-pdb-assignedkube-system pod present: cluster-autoscaler-84984799fd-22j42
I1207 14:24:09.523438       1 scale_down.go:490] 2 nodes found to be unremovable in simulation, will re-check them at 2018-12-07 14:29:09.231201368 +0000 UTC m=+8976.856144807

所有系统 Pod 都手动分配了 minAvailable: 1 PDB。我可以想象，这对于只有一个副本(如 metrics-server)的 POD 不起作用:

❯ k get nodes -o wide
NAME                       STATUS   ROLES   AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME
aks-nodepool1-32797235-0   Ready    agent   4h    v1.11.4   10.240.0.4    <none>        Ubuntu 16.04.5 LTS   4.15.0-1030-azure   docker://3.0.1
aks-nodepool1-32797235-3   Ready    agent   4h    v1.11.4   10.240.0.6    <none>        Ubuntu 16.04.5 LTS   4.15.0-1030-azure   docker://3.0.1

❯ ks get pods -o wide
NAME                                    READY   STATUS    RESTARTS   AGE   IP            NODE                       NOMINATED NODE
cluster-autoscaler-84984799fd-22j42     1/1     Running   0          2h    10.244.1.5    aks-nodepool1-32797235-3   <none>
heapster-5d6f9b846c-g7qb8               2/2     Running   0          1h    10.244.0.16   aks-nodepool1-32797235-0   <none>
kube-dns-v20-598f8b78ff-8pshc           4/4     Running   0          3h    10.244.1.4    aks-nodepool1-32797235-3   <none>
kube-dns-v20-598f8b78ff-plfv8           4/4     Running   0          1h    10.244.0.15   aks-nodepool1-32797235-0   <none>
kube-proxy-fjvjv                        1/1     Running   0          1h    10.240.0.6    aks-nodepool1-32797235-3   <none>
kube-proxy-szr8z                        1/1     Running   0          1h    10.240.0.4    aks-nodepool1-32797235-0   <none>
kube-svc-redirect-2rhvg                 2/2     Running   0          4h    10.240.0.4    aks-nodepool1-32797235-0   <none>
kube-svc-redirect-r2m4r                 2/2     Running   0          4h    10.240.0.6    aks-nodepool1-32797235-3   <none>
kubernetes-dashboard-68f468887f-c8p78   1/1     Running   0          4h    10.244.0.7    aks-nodepool1-32797235-0   <none>
metrics-server-5cbc77f79f-44f9w         1/1     Running   0          4h    10.244.0.3    aks-nodepool1-32797235-0   <none>
tiller-deploy-57f988f854-z9qln          1/1     Running   0          4h    10.244.0.8    aks-nodepool1-32797235-0   <none>
tunnelfront-7cf9d447f9-56g7k            1/1     Running   0          4h    10.244.0.2    aks-nodepool1-32797235-0   <none>

需要更改哪些内容(副本数量？PDB 配置？)才能实现缩小规模？

Answer 1

基本上，这是排出 PDB(Pod 中断预算)配置的节点时的管理问题

这是因为驱逐被迫尊重您指定的 PDB

你有两个选择:

要么用力用手:

kubectl drain foo --force --grace-period=0

您可以从文档中检查其他选项 -> https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#drain

或者使用驱逐 API:

{
  "apiVersion": "policy/v1beta1",
  "kind": "Eviction",
  "metadata": {
    "name": "quux",
    "namespace": "default"
  }
}

无论如何，drain 或 eviction api 会尝试在 pod 上删除，以便在完全耗尽节点之前将它们调度到其他地方

正如文档中提到的:

API 可以通过以下三种方式之一进行响应:

1. 如果批准驱逐，那么 Pod 就会被删除，就像您向 Pod 的 URL 发送 DELETE 请求并返回 200 OK 一样。
2. 如果当前的情况不允许按照预算中规定的规则进行驱逐，您将收到 429 Too Many Requests 的回复。这通常用于任何请求的通用速率限制
3. 如果存在某种配置错误，例如多个预算指向同一个 Pod，您将收到 500 内部服务器错误。

对于给定的驱逐请求，有两种情况:

1. 没有与此 Pod 匹配的预算。在这种情况下，服务器始终返回 200 OK。

2. 至少有一项预算。在这种情况下，上述三个响应中的任何一个都可能适用。

如果卡住了，那么您可能需要手动执行

你可以读我here或here