linux - 如何限制 mongodump 的 CPU 和 RAM 资源？

Question

我有一个正在运行的 mongod 服务器。每天，我都在执行 mongodump 以进行备份。问题是 mongodump 会占用大量资源并且会降低服务器速度(顺便说一句，它已经运行了一些其他繁重的任务)。

我的目标是以某种方式限制在 shell 脚本中调用的 mongodump。

谢谢。

Answer 1

您应该使用 cgroups。挂载点和细节在发行版和内核上是不同的。 IE。默认情况下，带有标准内核的 D​​ebian 7.0 不挂载 cgroupfs 并且禁用了内存子系统(人们建议使用 cgroup_enabled=memory 重新启动)，而 openSUSE 13.1 随附了所有这些(主要是由于 systemd)。

因此，首先，创建挂载点并挂载 cgroupfs(如果您的发行版尚未完成):

mkdir /sys/fs/cgroup/cpu
mount -t cgroup -o cpuacct,cpu cgroup /sys/fs/cgroup/cpu

mkdir /sys/fs/cgroup/memory
mount -t cgroup -o memory cgroup /sys/fs/cgroup/memory

创建一个cgroup:

mkdir /sys/fs/cgroup/cpu/shell
mkdir /sys/fs/cgroup/memory/shell

设置一个cgroup。我决定更改 cpu 份额。它的默认值为 1024，因此如果有竞争对手，将其设置为 128 会将 cgroup 限制为所有 CPU 资源的 11%。如果仍然有可用的 cpu 资源，它们将被提供给 mongodump。您还可以使用 cpuset 来限制它可用的核心数。

echo 128 > /sys/fs/cgroup/cpu/shell/cpu.shares
echo 50331648 > /sys/fs/cgroup/memory/shell/memory.limit_in_bytes

现在将 PID 添加到 cgroup，它也会影响他们所有的 child 。

echo 13065 >  /sys/fs/cgroup/cpu/shell/tasks
echo 13065 >  /sys/fs/cgroup/memory/shell/tasks

我运行了几个测试。尝试分配大量内存的 Python 被 OOM 杀死:

myaut@zenbook:~$ python -c 'l = range(3000000)'
Killed

我还在 cgroup 中运行了四个无限循环和第五个。正如预期的那样，在 cgroup 中运行的循环仅占用了大约 45% 的 CPU 时间，而其余循环占用了 355%(我有 4 个内核)。

所有更改都不会在重启后继续存在!

您可以将此代码添加到运行 mongodump 的脚本中，或使用一些永久解决方案。