gpt4 book ai didi

python - 在 Luigi Orchestrator 中并行化任务

转载 作者:太空狗 更新时间:2023-10-29 20:13:45 24 4
gpt4 key购买 nike

我定义了三个任务T1T2T3,然后定义了一个任务T4,如下:

class T4(luigi.Task)
def requires(self):
return [T1(), T2(), T3()]

是否有一种自然的方式告诉 Luigi 我希望这些任务 T1T2T3 并行执行?

最佳答案

这取决于 T1、T2 和 T3 有什么依赖关系。如果他们没有其他任务作为共同依赖项,您只需运行指定 --workers=3Luigi will run each task in a separate worker 的任务即可。 .

关于python - 在 Luigi Orchestrator 中并行化任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34127359/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com