kubernetes - GKE resourcequota不正确地显示已达到 pods 限制并阻止创建新 pods

Question

我无法在GKE的默认命名空间中创建新的Pod。我使用kubectl -n default get replicaset xxxx检查了部署和副本集上的错误->错误是:

  Warning  FailedCreate  6m54s replicaset-controller  Error creating: pods "dummy-deployment-54b6f555b7-ms5sb" is forbidden: exceeded quota: gke-resource-quotas, requested: pods=1, used: pods=5k, limited: pods=5k

所以我运行了这个命令 kubectl get resourcequota gke-resource-quotas -o yaml -n default来查看gke-resource-quotas的情况
我得到这个结果:

apiVersion: v1
kind: ResourceQuota
metadata:
  creationTimestamp: "2020-02-04T13:06:27Z"
  name: gke-resource-quotas
  namespace: default
  resourceVersion: "109072XXXX"
  selfLink: /api/v1/namespaces/default/resourcequotas/gke-resource-quotas
  uid: 2727d85b-474f-11ea-a2f2-XXXXXXXXXX
spec:
  hard:
    count/ingresses.extensions: 5k
    count/jobs.batch: 10k
    pods: 5k
    services: "1500"
status:
  hard:
    count/ingresses.extensions: 5k
    count/jobs.batch: 10k
    pods: 5k
    services: "1500"
  used:
    count/ingresses.extensions: "7"
    count/jobs.batch: "4540"
    pods: 5k
    services: "20"

但是我使用 kubectl -n default get pods | wc -l检查了我没有运行5k的 pods 。
这使我无法在GKE的默认 namespace 中创建新的Pod。
对于GKE / K8，这似乎是一个错误。有谁知道我该如何解决？谢谢!

Answer 1

预设配额完全看起来像是GKE问题。您可能曾经达到5k限制，也许未针对终止的pod进行更新，并且它认为已达到限制。
Someone else found a workaround，所以我暂时尝试一下:

kubectl delete resourcequota gke-resource-quotas -n default

如果您以这样的规模运行，并且这是一个经常发生的重要问题，我强烈建议您点击 GKE/GCP support。或寻求其他选择，例如在GKE之外运行。
✌️