python - 运行内存有限的Python进程

Question

我们有一个 Python 命令行实用程序，可以调用 API 来下载大文件，我们希望了解该程序在内存有限(~1 GB 或更少)的计算机上运行时的行为。

实现此目的的一个选择是使用虚拟化层(Docker 容器或 Vagrant 虚拟盒)来创建具有指定内存量的操作系统。但我对不同的方法感兴趣。

我想知道是否有一种方法可以限制 Python 进程可用的内存量，以便我可以运行命令行界面来进行 API 调用，但将其限制为最大(例如)512 MB内存来测试内存不足问题。

寻找适用于 Mac OS X(运行 10.14+)或 Linux 的解决方案。

Answer 1

使用 setrlimit 设置最大内存大小

根据 @Alexis Drakopoulos's answer ，resource 模块可用于设置 Python 脚本使用的最大虚拟内存量，但需要注意的是，此方法仅适用于基于 Linux 的系统，不适用于基于 Linux 的系统。基于 BSD 的系统，例如 Mac OS X。

要修改限制，请在 Python 脚本中添加对 setrlimit 的以下调用:

resource.setrlimit(resource.RLIMIT_AS, (soft_lim, hard_lim))

(其中软/硬限制以字节为单位 - 并且它们的值通常相等)。

简单示例

下面是一个简单示例，它将内存限制为大约 1 KB(1000 字节)，然后由于内存错误而无法导入 pandas:

$ python
Python 3.6.9 (default, Nov  7 2019, 10:44:02)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import resource

>>> print(resource.getrlimit(resource.RLIMIT_AS))
(-1, -1)

>>> resource.setrlimit(resource.RLIMIT_AS, (1000,1000))

>>> import pandas as pd
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/vagrant/.local/lib/python3.6/site-packages/pandas/__init__.py", line 11, in <module>
  File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/__init__.py", line 142, in <module>
  File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/core/__init__.py", line 24, in <module>
  File "<frozen importlib._bootstrap>", line 971, in _find_and_load
  File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 674, in exec_module
  File "<frozen importlib._bootstrap_external>", line 779, in get_code
  File "<frozen importlib._bootstrap_external>", line 487, in _compile_bytecode
MemoryError
MemoryError

为什么这在 BSD 系统上不起作用？

如果您检查 getrlimit 或 setrlimit 的手册页，您将看到一个 RLIMIT_* 变量列表 - 但该列表是BSD 和 Linux 之间的不同。 Linux getrlimit/setrlimit man page列出了 RLIMIT_AS，但是 BSD getrlimit/setrlimit man page没有列出任何用于控制内存量的RLIMIT变量。因此，即使在 Mac OS X 上的 resource 模块中定义了 resource.RLIMIT_AS，设置它对内核或进程可用的内存量没有影响.

另请参阅What do the two numbers returned by Python's resource.RLIMIT_VMEM (or resource.RLIMIT_AS) mean?