python - 在循环的每次迭代中将函数作为 python 中的新进程运行

Question

我有这个:

from multiprocessing import Pool

pool = Pool(processes=4)

def createResults(uniqPath):
    *(there is some code here that populates a list - among other things)*

for uniqPath in uniqPaths:
    pool.map(createResults, uniqPath)

pool.close()
pool.join()

我不知道这是否可能，但是我可以运行在该循环中调用的 createResults 函数作为每次迭代的新进程吗？

我正在使用 400 万行文件填充列表，并且运行时间超过 24 小时。 (显然上面的代码不起作用)

谢谢!

Answer 1

而不是:

for uniqPath in uniqPaths:
    pool.map(createResults, uniqPath)

这样做:

pool.map(createResults, uniqPaths)

您必须在可迭代本身上使用映射才能以并发方式运行。
但请记住 - 填充列表意味着该列表不会在进程之间共享，如果确实使用 Array() ，确保其过程安全。