kubernetes - Pod 卡在 ContainerCreating 中，错误为 "failed to assign an IP address to container"

Question

600 pod 部署的多个 pod 卡在 ContainerCreating滚动更新消息后:

Failed create pod sandbox: rpc error: code = Unknown desc = NetworkPlugin cni failed to set up pod network: add cmd: failed to assign an IP address to container

我尝试过的:

在 EKS 和 CNI 1.5.0 上升级到 v1.12。 This issue was closed stating CNI 1.5.0 solved the issue.它不适合我们。在另一个线程 leaking ENIs was blamed但也因 CNI 升级而关闭。

Installed cni-metrics-helper这是输出的快照:

maxIPAddresses, value: 759.000000
ipamdActionInProgress, value: 1.000000
addReqCount, value: 16093.000000
awsAPILatency, value: 564.000000
delReqCount, value: 32337.000000
eniMaxAvailable, value: 69.000000
assignIPAddresses, value: 558.000000
totalIPAddresses, value: 682.000000
eniAllocated, value: 69.000000

CNI 指标输出是否表明存在问题？好像有足够的IP。

我还能尝试调试什么？

Answer 1

您似乎达到了子网中 IP 地址的最大数量，在 documentation 中可以提示这样的事情吗？ :

maxIPAddress: the maximum number of IP addresses that can be used for Pods in the cluster. (assumes there is enough IPs in the subnet).

请查看 maxUnavailable和 maxSurge控制滚动升级期间出现的 POD 数量的参数 - 也许您的配置假设在滚动升级期间您将拥有超过 600 个 POD(例如 130%)并且达到您的 AWS 网络的限制。