python - 多处理 apply_async 与多处理队列的奇怪行为

Question

import time
import multiprocessing

def multi_thread(files):
    q = multiprocessing.Queue()

    for f in files:
        q.put(f)

    p = multiprocessing.Pool(5)

    for i in range(5):
        p.apply_async(worker_test, args=(q,))

    p.close()
    p.join()


def worker_test(i):
    print 'hello'
    print i


def main():
    files = ['a', 'b', 'c', 'd']

    multi_thread(files[0:4])
    print 'Multi-thread time: {0} seconds'.format(time.time() - t0)

if __name__ == '__main__':
    main()

如果我传入 q，我的代码甚至不会进入 work_test() 函数来打印 hello。但如果我将 q 更改为 i，代码运行正常。不知何故，它不喜欢 multiprocessing.Queue() 对象 - 你知道发生了什么吗？

Answer 1

您需要创建一个可以在不同进程之间共享的队列实例。您可以使用multiprocessing.Manager来做到这一点对象。

以下代码似乎有效:

import time
import multiprocessing

def multi_thread(files):
    m = multiprocessing.Manager()
    q = m.Queue()

    for f in files:
        q.put(f)

    p = multiprocessing.Pool(5)
    for i in range(5):
        p.apply_async(worker_test, args=(i, q))

    p.close()
    p.join()

def worker_test(i, q):
    print 'hello'
    print i

def main():
    files = ['a', 'b', 'c', 'd']

    multi_thread(files[0:4])

if __name__ == '__main__':
    main()