airflow - 为什么不建议在 Airflow 中使用动态 start_date？

Question

我已阅读 Airflow 关于 "What's the deal with start_date ?" 的常见问题解答，但我仍然不清楚为什么建议不要使用动态 start_date .

据我了解，DAG 的 execution_date由最小值 start_date 决定在所有 DAG 任务之间，后续 DAG 运行最晚运行 execution_date + schedule_interval .

如果我设置了我的 DAG default_args start_date例如，昨天在 20:00:00 ，带有 schedule_interval 1 天，如果有的话，这将如何破坏或混淆调度程序？如果我理解正确，调度程序将使用 execution_date 触发 DAG。昨天在 20:00:00 ，下一次 DAG Run 将安排在今天 20:00:00 .

有什么我想念的概念吗？

Answer 1

首次运行将在 start_date+schedule_interval .它不会在 start_date 上运行 dag ，它总是在 start_date+schedule_interval 上运行.

正如他们在文件中提到的，如果你给 start_date动态例如datetime.now()并给一些 schedule_interval (1 小时)，它永远不会以 now() 的身份执行该运行与时俱进datetime.now()+ 1 hour不可能