luigi - 如何创建 luigi 依赖图但不运行任何东西？

Question

用例:某些任务是耗时数小时的长批处理作业，需要在决定首先重新运行哪个日期之前查看给定日期的已完成内容和失败内容。

如何在不运行任何东西的情况下查看中央调度程序生成的依赖关系图？我确实意识到，我可以简单地在给定日期重新运行图表，并且(假设没有任何更改)它将在与上次运行完全相同的位置失败，并且我将能够在调度程序中看到图表。假设一个任务需要很长时间才能失败。有类似 --dry-run 参数吗？

我还可以创建一个空的“切换开关”任务，该任务将根据输入参数失败或完成。但是，我需要记住让每个任务都依赖于它 - 很容易被忽视(可以通过子类化来解决)，但也会造成困惑。

有更好的选择可以考虑吗？

编辑:

看起来我可以通过在调用luigi时设置--workers=0来获得我需要的东西。这会产生以下消息:

Did not run any tasks
This progress looks :| because there were tasks that were not granted run permission by the scheduler

什么都没有运行，我得到了我的图表。在这里记录似乎是一个有用的技巧。

Answer 1

使用 --workers=0 运行适用于普通依赖图。但是，如果您使用动态依赖项，这些图形节点将被忽略(动态依赖项是在 run() 中生成的 Tasks。

future 的替代方案是 WIP PR用于静态 DAG 可视化工具。但是，我怀疑考虑到 run() 执行的必要性，动态依赖关系仍然会被忽略。