python - 使用 Jug，如何在多处理模式下运行嵌套循环？

Question

例如，下面的代码只在1个进程中运行任务:

from jug import TaskGenerator
evaluate = TaskGenerator(evaluate)

for p0 in [1,2,3]:
for p1 in xrange(10):
    for p2 in xrange(10,20):
         for p3 in [True, False]:
             for p4 in xrange(100):
                results.append(evaluate(p0,p1,p2,p3,p4))

我应该在哪里指示进程数？谢谢!

Answer 1

作者 jug在这里。

要运行此脚本，假设它是一个名为 script.py 的文件，您将运行 jug execute script.py 命令(而不是 python 脚本.py).

您可以简单地并行运行其中的多个。如果您使用的是类 Unix 的 shell，为了使用两个处理器，以下应该可以正常工作:

jug execute script.py &
jug execute script.py &

不同的进程将使用文件系统相互通信来划分工作(这是默认的，如果你想使用不共享文件系统的机器集群，你也可以使用 redis 后端) .

您还可以使用以下方法在它们运行时检查进度:

jug status script.py