kubernetes - 是什么导致Pod在Kubernetes中变慢？

Question

我群集中的某些Pod在几乎所有方面都非常慢。启动时间，网络，I / O。

我已将这些容器中的应用程序代码最小化，并且似乎没有任何作用，它们基本上是运行带有运行状况检查端点的简单webapi的最小容器。

我想知道有人可以帮助我找出问题所在或对其进行调试。

当我在各个方面说慢时，我的意思是几件事

启动非常慢。实际上，我必须将准备就绪探针的初始延迟更改为将近5分钟。

在容器内运行任何命令的速度都很慢。即使容器已经运行了几个小时，运行apt-get update仍需要5分钟左右。

与RDS数据库的任何连接都将至少在Pod运行的前10分钟内超时，在命中或未命中之后，有时是正常速度，有时我们会再次开始获得连接超时(主要是如果Pod尚未运行)使用/请求了一段时间)。

在具有相同基本镜像的几乎相同的Pod上，容器将在不到两秒钟的时间内启动，运行 apt-get update可能需要3秒钟。我一生都看不到导致某些 bean 荚成为“好 bean 荚”和其他 bean 荚为“坏 bean 荚”之间的区别。

在本地运行这些镜像中的任何一个，它们将立即(不到一秒钟左右)启动。

我的环境

群集(AWS)

1 c4.large主

3个c4.xlarge节点

每节点10至20个 bean 荚

使用'标准'设置为kops设置(我没有做任何棘手的事情)

我已检查/尝试过的事情

bean 荚过多

我的第一个想法可能是我运行了太多 bean 荚。我为此启动了一个全新的节点(c4.xlarge)，并使该Pod是集群中唯一运行的Pod，问题仍然存在。

节点资源

检查每个节点级别的度量标准，我无所不能(也尝试在几个全新的功能强大的新节点上尝试)

部署/ Pod指标

我很高兴向大家展示任何人都可以想到的指标，没有任何异常。我正在运行Prometheus，并研究了我想检查的所有指标。我看不到“运行良好”和“运行不良”之间的区别。

群集本身

我实际上有2个集群，都配备了kops，这在两个集群上都可以看到(尽管并不总是相同的应用程序，这很奇怪)。

感谢这里的任何帮助

Answer 1

这可能是由于资源限制的配置过于受限或缺少配置资源请求而导致的，这使得可以在对运行工作负载没有必要要求的节点上配置Pod。

您可以通过为部署到Kubernetes的每个应用程序定义适当的resource requests来解决此问题。简而言之，您可以控制对CPU time份额，内存字节和Linux Hugepages份额的限制和请求。