Airflow - 跳过 future 的任务实例而不更改 dag 文件

Question

• 我有一个 DAG“abc”计划每天早上 7 点 CST 运行，并且该 DAG 中有任务“xyz”。

• 出于某种原因，我不想为明天的实例运行任务“xyz”之一。

---

我怎样才能跳过那个特定的任务实例？

• 我不想对代码进行任何更改，因为我无权访问 Prod 代码并且任务现在在 Prod 环境中。
• 有没有办法使用命令行来做到这一点？

感谢对此的任何帮助。

Answer 1

您可以使用 run 命令将不需要的任务标记为成功。标记为成功的任务将不再运行。

假设，有一个 ID 为 a_dag 的 DAG 和三个 ID 为 dummy1、dummy2、dummy3 的任务.我们想从下一次 DAG 运行中跳过 dummy3 任务。

首先，我们得到下一个执行日期:

$ airflow next_execution a_dag
2020-06-12T21:00:00+00:00

然后我们将 dummy3 标记为在此执行日期成功:

$ airflow run -fAIim a_dag dummy3 '2020-06-12T21:00:00+00:00'

可以肯定的是，我们可以检查任务状态。对于跳过的任务，它将是成功:

$ airflow task_state a_dag dummy3 '2020-06-12T21:00:00+00:00'
...
success

对于其余任务，状态将为无:

$ airflow task_state a_dag dummy1 '2020-06-12T21:00:00+00:00'
...
None