kubernetes - Jenkins X构建失败，出现 “The node was low on resource: [DiskPressure].”

Question

我的Jenkins X安装(项目中期)现在变得非常不稳定。 (主要是)由于磁盘压力，Jenkins pods 无法启动。

通常，许多 pod 都失败了

The node was low on resource: [DiskPressure].

要么

0/4 nodes are available: 1 Insufficient cpu, 1 node(s) had disk pressure, 2 node(s) had no available volume zone. Unable to mount volumes for pod "jenkins-x-chartmuseum-blah": timeout expired waiting for volumes to attach or mount for pod "jx"/"jenkins-x-chartmuseum-blah". list of unmounted volumes=[storage-volume]. list of unattached volumes=[storage-volume default-token-blah] Multi-Attach error for volume "pvc-blah" Volume is already exclusively attached to one node and can't be attached to another

对于具有npm的项目及其生成的大量 node-modules目录，使用更多的预览版本可能会变得更加明显。我也不确定 Jenkins 是否会自己清理。

重新引导节点会有所帮助，但不会持续很长时间。

Answer 1

让我们从Kubernetes方面解决这个问题。
您可以采取以下措施来解决此问题:

如@Vasily所述，请检查是什么导致节点上的磁盘压力。您可能还需要检查以下来源的日志:

kubeclt logs: kube-scheduler events logs

journalctl -u kubelet: kubelet logs

/var/log/kube-scheduler.log

有关以下原因的更多信息。

检查您的驱逐阈值。如果需要，请调整Kubelet和Kube-Scheduler配置。看看两者都发生了什么(前面提到的日志现在可能有用)。可以找到更多信息here

检查您是否正确运行了水平Pod自动缩放器:kubectl get hpa您可以使用标准的kubectl命令来设置和manage your HPA.

最后，您收到的与卷相关的错误表明我们可能对PVC和/或PV有问题。确保您的卷与节点位于同一区域。如果要将卷安装到特定的容器上，请确保它不是专门与另一个容器连接的。可以找到更多信息here和here

我没有亲自测试它，因为需要更多信息才能重现整个场景，但是我希望以上建议会有用。

请让我知道是否有帮助。