airflow - 重新运行 Airflow Subdag 的一部分

Question

我有一个包含 subdag 的每日 Dag。 subdag 有五个任务，T1 到 T5，必须按顺序运行(例如 T1 >> T2 >> T3 >> T4 >> T5)

dag 成功运行了几天，但后来我发现了 T4 的一个错误。我修复了这个错误，并想重新运行所有前几天的 T4 和 T5。重要的是不要重新运行 T1-T3，因为这些步骤比 T4-T5 花费的时间长得多。

我尝试过的失败了:

选择 T4，清除下游 + 递归 - 没有任何 react 。 Dag 树 View 将 subdag 显示为“成功”，即使其中的 T4 和 T5 已被清除。

选择 T4，清除下游 + 递归，选择 subdag，仅清除该任务 - 即使 T1-T3 被标记为成功，这也会重新运行整个 subdag (T1-T5)

选择 T4，清除下游 + 递归，选择 subdag，单击运行 - 与 #2 相同。重新运行整个 subdag。

选择T4，清除下游+递归，手动将subdag设置为“运行”状态。什么都不会发生。树 View 显示处于“运行”状态的 subdag，但实际上没有运行任何任务。

当尝试重新运行 subdag 的一部分时，这似乎只是一个问题。如果我在常规 dag 中有一堆任务，通常在中间选择一个任务并选择清除下游 + 递归将从该点重新运行 dag。

任何建议将不胜感激。

Answer 1

您可以在 subDAG 中重新启动失败的任务，方法如下:

放大 subDAG，清除失败任务的状态。

返回主 DAG，选择子 DAG。

取消选中递归和/或下游。

清除 subDAG 的状态。