linux - 达到 cgroup 限制 - 设备上没有剩余空间

Question

我们有两台使用 docker 运行 ubuntu 14.04 的服务器。每隔一个月在启动或构建容器时我们会收到消息:

container_linux.go:247: starting container process caused     "process_linux.go:258: applying cgroup configuration for process caused 
\"mkdir /sys/fs/cgroup/memory/docker/cf657a58a1382e62976b4d339946f07e8a40f22f18b52822f884834f78830806: no space left on device\""

磁盘还有很多空间，但是 cat/proc/cgroups 给出了这个:(num_cgroups 不断增加)

#subsys_name    hierarchy   num_cgroups enabled
cpuset  1   65805   1
cpu 2   65807   1
cpuacct 3   65803   1
blkio   4   65803   1
memory  5   65535   1
devices 6   65805   1
freezer 7   65803   1
net_cls 8   65803   1
perf_event  9   65803   1
net_prio    10  65803   1
hugetlb 11  65803   1

到目前为止，重启服务器总是有帮助，但我们不想每隔几个月重启一次服务器。

所以我开始研究并在/sys/fs/cgroup/*/user 路径下找到了一个目录。/sys/fs/cgroup/systemd/user/998.user 本身拥有 65662 个子目录。全部命名有点像 36309.session(数字增加)

有没有办法查看创建这些 cgroup 的进程？我以为是进程 998，但它根本不存在。

Answer 1

我在使用 AWS Batch 时遇到了同样的问题。我没有解决方案，但我发现了这个讨论 https://github.com/moby/moby/issues/29638 .问题似乎出在内核和/或 Docker 中的某种泄漏。