python - 多处理池中的全局变量

Question

我知道这个问题以前在这里讨论过，但我就是找不到任何有效的方法。我想在我的多处理进程之间共享一个全局变量，而不需要任何进程更改它，即它们只需要读取访问权限。举个简单的例子:

    def f(x):
        return x**GlobalVar

    if __name__ == '__main__':
        GlobalVar = 6
        pool = multiprocessing.Pool()
        res= pool.map(f,[1,2,3,4])
        print(res)

现在这显然行不通，因为进程无法访问 GlobalVar。因此，为了让它工作，我会在每个单独的过程中评估 GlobalVar，或从文件中导入它。因为在我的应用程序中 GlobalVar 是一个非常大的数组，所以这是非常浪费的。我怎样才能轻松地在进程之间共享这个全局变量，同时只将它的一个副本存储在内存中？我想重申，进程只需要读取这个全局变量而不需要改变它。

Answer 1

非常简单的方法是将它作为参数传递给在每个进程中执行的f。但是如果全局变量太大并且你不想在每个进程中都有它的副本并且你只想执行读取操作那么你可以使用共享内存。

示例(内联记录)

from multiprocessing import Pool
from multiprocessing import shared_memory
import numpy as np
def f(x):
    # Attach to the existing shared memory
    existing_shm = shared_memory.SharedMemory(name='abc123')
    # Read from the shared memory (we know the size is 1)
    c = np.ndarray((1,), dtype=np.int64, buffer=existing_shm.buf)
    return x*c[0]

if __name__ == '__main__':
    a = np.array([6])
    # Creates shared memory with name abc123
    shm = shared_memory.SharedMemory(create=True, size=a.nbytes, name="abc123")
    # Create numpy array backed by shared memory
    b = np.ndarray(a.shape, dtype=a.dtype, buffer=shm.buf)
    # copy the data into shared memory
    b[:] = a[:]
    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

输出:

[6, 12, 18]

查找官方文档 here .