Ubuntu 上的 Docker 无法使 CPU 饱和

Question

我有一个简单的 Ruby 应用程序，基本上它通过 HTTP 端点获取一些数据，对其进行一点处理，将其分组并分批发送到某个远程 HTTP 端点。

当我在裸机上运行它时 - 我将 4 个 CPU 饱和到 100% 并得到大约 3000reqs/s(根据 ab；该应用程序有点计算密集的);

但是当我在 Docker 中运行它时，我只得到 1700reqs/s - CPU 似乎在 55-65% 左右达到峰值。同样的应用，同样的设置。

我尝试增加ab的并发。该应用程序本身托管在Passenger中，我尝试在20个进程中运行它，在40个进程中(Passenger运行该应用程序)。在 Docker 内部，它似乎并不想走得更高。

我通过docker-compose运行，宿主机是Ubuntu 14.04

$ docker -v
Docker version 1.10.0, build 590d5108

$ docker-compose -v
docker-compose version 1.5.2, build 7240ff3

两种情况下的平均负载都很高(大约 20 个)，但它不受磁盘限制。

$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- ---system---  ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in      cs  us sy id wa st
22  0      0 8630704  71160 257040    0    0    29     6  177    614   3  1 94  1  0
 7  0      0 8623252  71160 257084    0    0     0    16  9982 83401  46 12 43  0  0
43  0      0 8618844  71160 257088    0    0     0     0  9951 74056  52 10 38  0  0
17  0      0 8612796  71160 257088    0    0     0     0 10143 70098  52 14 34  0  0
17  0      0 8606756  71160 257092    0    0     0     0 11324 70113  48 15 37  0  0
31  0      0 8603748  71168 257104    0    0     0    32  9907 85295  44 12 41  3  0
21  0      0 8598708  71168 257104    0    0     0     0  9895 69090  52 11 36  0  0
22  0      0 8594316  71168 257108    0    0     0     0  9885 68336  53 12 35  0  0
31  0      0 8589564  71168 257124    0    0     0     0 10355 82218  44 13 43  0  0

它也不受网络限制。即使我禁用向远程主机发送数据并且所有通信都在机器内 - 我仍然看到 55-65%。

docker 和 compose 的设置是默认的，没有任何调整。

为什么 CPU 在 Docker 中运行时不能饱和？Docker 中是否有一些隐藏的限制？我如何发现这个限制？

EDIT1 CPU 集，CPU 份额

cpuset_cpus:0,1,2,3,4,5,6,7 和/或 cpu_shares: 102400(默认值的 100 倍)似乎没有改变现状。

/var/log/*

中的限制也没有什么有趣的地方

EDIT2 网桥/主机网络

它也不是 docker bridge 网络。我在 Docker Compose 中使用 net:host 效果是一样的

EDIT3 比例

如果我用相同的代码运行第二个容器并暴露不同的端口 - 我可以获得高达 77% 的 CPU 负载，但仍不能像在裸机上那样达到 100%。请注意，这些容器中的每一个都运行 20-40 个负载平衡的进程，其中有乘客。

EDIT4 Ubuntu 的问题？

好吧，好像和 Ubuntu 有关系。同一个容器在 CoreOS 上运行 - 我能够使所有内核饱和。

但我还是不明白这个限制。

EDIT5 DigitalOcean 测试

为了公平起见，我在 DigitalOcean 上使用了 2 个相同的 16GB 8CPU 实例，均位于法兰克福数据中心。我在最新的 Ubuntu 和最新的 CoreOS alpha 上安装了应用程序。

CoreOS 949.0.0: Docker version 1.10.0, build e21da33
Ubuntu 14.04.3: Docker version 1.10.0, build 590d5108

我不确定如何获得完全相同的构建 - 似乎 CoreOS 具有 Docker 内置和只读 FS 以及 Ubuntu - 我不知道如何获得完全 e21da33 的构建。但是通用版本是一样的1.10.0

我也在法兰克福数据中心的 DigitalOcean 上从外部机器上运行 ab，以确保 ab 不是变体。在这两种情况下，我都点击了外部 IP。 ab的参数是一样的(ab -n 40000 -c 1000 -k)，代码是一样的。

结果:

 Ubuntu:   58-60% CPU    1162.22 [#/sec] (mean)
 CoreOS:     100% CPU    4440.45 [#/sec] (mean)

这开始变得非常奇怪。

为了给 Ubuntu 一些机会，我也尝试添加:

  security_opt:
     - apparmor:unconfined

但这并没有太大变化。

EDIT6 在其他一些操作系统下测试容器:

Ubuntu 14.04.3   NOT OK (50-60% CPU)
Ubuntu 15.10     NOT OK (50-60% CPU)
Debian 8.3       NOT OK (50-60% CPU)
CentOS 7.2.1511      OK   (100% CPU)
CoreOS 949.0.0       OK   (100% CPU)

仍然不知道限制是什么。好像和Debian有关。

Answer 1

请不要激动(或激怒我) - 这不是 答案 - 我只需要比评论允许的更多空间!我不是 linux 或 Docker 专家，但我真的很喜欢这类问题，并且在周末进行了一些研究，并且有一些探索途径可能会有所帮助。我没有测试台，所以陷入了僵局。

到目前为止的理论“对于 Debian 和 Ubuntu...”:

1. Docker 将容器和子进程放入一个 cgroup 中以某种方式受到限制。

2. 操作系统的调度器和 Docker 内的调度器容器(systemd？)在某种程度上为 CPU 和不断地互相置换。

3. 操作系统调度程序正在处理 (a) Docker 容器和 (b)应用程序内部作为单独的竞争资源请求，因此给每个大约 50%

4. 在我看来，Linux 的 RedHat 风格在某些方面具有'集成' docker(阅读“查看了它的功能并调整了它们的操作系统设置或 Docker 设置兼容”)。他们改变了什么去做这个？ - 这可能是造成差异的原因。

5. 强烈建议不要在 RHEL 6 下使用 Docker，而是使用使用 RHEL 7+ - 这些版本之间的 RH 有什么变化wrt。让他们如此热衷于使用 7+ 的 CPU 调度？

接下来我会看什么:

• 运行时设置 cgroup。
• limits.conf 文件的内容
• RH 和 Docker 版本之间的 Docker 配置文件差异Ubuntu 风格。
• (如果我有时间)看看 RHEL 6 上的 Docker 是否有问题(如 RHEL 7没有)

研究: https://goldmann.pl/blog/2014/09/11/resource-management-in-docker/
http://www.janoszen.com/2013/02/06/limiting-linux-processes-cgroups-explained/
https://github.com/docker/docker/issues/6791
https://github.com/ibuildthecloud/systemd-docker/issues/15
https://unix.stackexchange.com/questions/151883/limiting-processes-to-not-exceed-more-than-10-of-cpu-usage
http://linux.die.net/man/5/limits.conf
https://marketplace.automic.com/details/centos-official-docker-image
https://www.datadoghq.com/blog/how-to-monitor-docker-resource-metrics/
https://libraries.io/go/github.com%2Fintelsdi-x%2Fsnap-plugin-collector-docker%2Fdocker
https://serverfault.com/questions/356962/where-are-the-default-ulimit-values-set-linux-centos
https://www.centos.org/forums/viewtopic.php?t=8956
https://docs.mongodb.org/manual/reference/ulimit/
http://www.unixarena.com/2013/12/how-to-increase-ulimit-values-in-redhat.html

如果这些都没有帮助，我道歉!