python - 多处理共享变量不更新

Question

我试图在使用多处理模块时更新共享变量(命名空间中的 numpy 数组)。但是，该变量没有更新，我不明白为什么。

下面是一个示例代码来说明这一点:

from multiprocessing import Process, Manager
import numpy as np

chunk_size = 15
arr_length = 1000
jobs = []
namespace = Manager().Namespace()
namespace.arr = np.zeros(arr_length)
nb_chunk = arr_length/chunk_size + 1


def foo(i, ns):
    from_idx = chunk_size*i
    to_idx = min(arr_length, chunk_size*(i+1))
    ns.arr[from_idx:to_idx] = np.random.randint(0, 100, to_idx-from_idx)

for i in np.arange(nb_chunk):
    p = Process(target=foo, args=(i, namespace))
    p.start()
    jobs.append(p)
for i in np.arange(nb_chunk):
    jobs[i].join()

print namespace.arr[:10]

Answer 1

您无法在 Python 中跨进程共享内置对象，例如 list、dict。为了在进程之间共享数据，Python's multiprocessing提供两种数据结构:

• Queue()
• Pipe()

另请阅读:Exchanging objects between processes