python - Windows 上的 multiprocessing.Pool.apply_async

Question

我正在尝试使用池来并行分配一些子进程调用。如果我为池构建一个完整的可迭代对象并使用 imap、map、imap_unordered 等，一切都很好，但我无法获得apply_async 开始工作。

例如，这可以正常工作:

from subprocess import check_call
from multiprocessing import Pool

def dispatch_call(file_name):
    return check_call(...)

if __name__ == '__main__':
    files = (constructed file list)
    pool = Pool()
    pool.imap(dispatch_call, files)
    pool.close()
    pool.join()

然而，这不会:

from subprocess import check_call
from multiprocessing import Pool

def dispatch_call(file_name):
    return check_call(...)

if __name__ == '__main__':
    files = (constructed file list)
    pool = Pool()
    for f in files:
        pool.apply_async(dispatch_call, f)
    pool.close()
    pool.join()

我检查了 multiprocessing 的文档，Windows 特定问题似乎与此处无关。我只是运气不好，无法让它在 Windows 上运行吗？

Answer 1

您应该将回调参数作为序列(列表/元组)传递。

str 对象也是一个序列，但是传递一个字符串会导致将多个参数传递给回调(字符串的每个字符都被视为参数):

pool.apply_async(dispatch_call, [f])

或

pool.apply_async(dispatch_call, (f,))