python - Luigi 中任务实例的完成状态存储在哪里

Question

我从 Luigi 开始，我想知道 Luigi 如何知道它不应该重新运行该任务，因为它已经使用相同的参数成功运行了。我通读了文档，但没有找到答案。

假设:

• Luigi 是否将状态(任务实例及其结果)存储在内存中(它不使用数据库)？那么，当我重新启动调度程序时，它会忘记所有内容并重新运行所有任务？

• 或者，Luigi 总是运行 task.complete对于任何计划任务来查看该任务是否应该运行？这意味着 complete 处理程序应该非常快？

• 或者，它的工作方式是否不同？

感谢您的帮助!

Answer 1

啊哈，在 task.output 中找到了这个:

任务的输出决定任务是否需要运行 - 当且仅当输出全部存在时，任务被视为已完成。子类应重写此方法以返回单个 Target 或 Target 实例列表。

所以，这意味着完整或output.exists应该非常非常快。