python - 在 Python 中共享数据

Question

我有一些 Pickled 数据，存储在磁盘上，大小约为 100 MB。

当我的Python程序执行时，使用cPickle模块加载选取的数据，并且一切正常。

例如，如果我使用 python main.py 多次执行 python，则每个 python 进程将多次加载相同的数据，这是正确的行为。

我怎样才能做到这一点，所有新的Python进程共享这个数据，所以它只加载到内存中一次？

Answer 1

如果您使用的是 Unix，一种可能性是将数据加载到内存中，然后让脚本使用 os.fork()创建一堆子流程。只要子进程不尝试修改数据，它们就会自动共享父进程的数据副本，而无需使用任何额外的内存。

不幸的是，这在 Windows 上不起作用。

附注我once asked关于将 Python 对象放入共享内存，但这并没有产生任何简单的解决方案。