Airflow 使用与父 dag 不同的 schedule_interval 创建 subdag

Question

我一直在尝试设置一个父 dag，它有两个 subdag，由于它们各自的数据源可用，每个 subdag 的运行时间略有不同。然而，subdags 似乎立即与父 dag 一起启动，无视他们自己的 schedule_intervals。有人知道这是否是 Airflow 的默认行为吗？有没有办法在不将它们变成独立的 dag 或使用传感器的情况下解决这个问题？

Answer 1

subdag 将遵守父 dag 计划(因为它是触发 subdag 的父)并且不会按自己的计划运行，除非它被配置为作为独立 dag 这样做。

可能您真正想要的是某种其他类型的依赖机制。我试图猜测你在这里的场景是什么:

您有分别在一天中的不同时间运行的 DagA 和 DagB

DagB 取决于 DagA(或某些 DagC 取决于 DagA 和 DagB)

您创建了一个 DagX，将 DagA 和 DagB 作为子dag 来控制依赖项

我不确定您为什么不希望 DagA 和 DagB 成为独立的 Dag，但是如果您真的想保留您的结构，您可以将父 DAG 计划设置为来自 DagA 和 DagB 的计划的最大公约数并添加 conditional flows避免在到期时执行它们。

另一方面，我建议您尝试直接使用代码映射依赖项，而不是通过调度使它们隐含。如果 DagA 依赖于外部事物，无论是数据源还是另一个 DAG，您可以使用 Sensor .