python - 使用多个worker来执行python代码

Question

我在几个文件上执行 python 代码。由于文件都非常大，而且由于一个电话一个处理一个文件，所以它会持续很长时间，直到处理完最后一个文件。因此，这是我的问题:是否可以使用多个并行处理文件的工作人员？

这是一个可能的调用吗？:

import annotation as annot # this is a .py-file
import multiprocessing

pool = multiprocessing.Pool(processes=4)
pool.map(annot, "")

.py 文件使用 for 循环(等)自行获取所有文件。问题是:如果我查看所有进程(使用“top”)，我只看到 1 个正在使用 .py 文件的进程。所以...我怀疑我不应该像这样使用多处理...是吗？谢谢你的帮助! :)

Answer 1

是的。使用 multiprocessing.Pool .

import multiprocessing
pool = multiprocessing.Pool(processes=<pool size>)
result = pool.map(<your function>, <file list>)