python - 在 Python 3.4 中的不同进程之间共享大对象

Question

我正在尝试在 Python 的不同进程之间共享一个大对象(~2 GB)，以减少内存使用量。我已经了解了多处理库(https://docs.python.org/3.4/library/multiprocessing.html#multiprocessing-managers)中的 Manager 类和代理。然而，根据文档和其他 Stackoverflow 用户，当它用于像这样的大对象时，这可能会非常慢。这是正确的吗？如果是这样，是否有另一个更快的 Python 库或函数可供我使用？谢谢。

编辑:不过，我创建的对象是一个 DAG(有向无环图)，其构造函数由标准 Python 值组成。

Answer 1

如果您的数据仅限于标准值和数组(没有其他 Python 对象)，您可以使用共享内存(Value() 和 Array()，参见 https://docs.python.org/3.4/library/multiprocessing.html#shared-ctypes-objects )。它非常快。