python - 在 Luigi Orchestrator 中并行化任务

Question

我定义了三个任务T1、T2和T3，然后定义了一个任务T4，如下:

class T4(luigi.Task)
    def requires(self):
        return [T1(), T2(), T3()]

是否有一种自然的方式告诉 Luigi 我希望这些任务 T1、T2 和 T3 并行执行？

Answer 1

这取决于 T1、T2 和 T3 有什么依赖关系。如果他们没有其他任务作为共同依赖项，您只需运行指定 --workers=3 和 Luigi will run each task in a separate worker 的任务即可。 .