python - 将 joblib 与导入函数一起使用时出错

Question

我正在使用 joblib 并行化我的 python 3.5 代码。
如果我这样做:

from modules import f
from joblib  import Parallel, delayed

if __name__ == '__main__':
    Parallel( n_jobs  =  n_jobs,backend = "multiprocessing")(delayed(f)(i) for i in range( 10 ))

代码不起作用。相反:

from joblib import Parallel, delayed

def f( i ):
    # my func ...

if __name__ == '__main__':
    Parallel( n_jobs  =  n_jobs, backend = "multiprocessing")(delayed(f)(i) for i in range(10))

这有效!

有人可以解释为什么我必须将所有函数放在同一个脚本中吗？

这确实不切实际，因为在模块中有很多我编码的函数，我不想在主脚本中复制/粘贴。

Answer 1

我也遇到过类似的问题。当我从导入调用函数时，它只是卡住，而当我调用本地函数时，它工作正常。通过使用多线程而不是像那样的多处理来解决它

Parallel( n_jobs  =  n_jobs, backend='threading')(delayed(f)(i) for i in range(10))