每月的日期和时间的 Airflow DAG 调度

Question

我们一直在将 cron 作业转换为 Airflow DAG，但我很难弄清楚 DAG 的调度在 Airflow 中究竟是如何工作的。一些 DAG 需要在一天的特定时间(即早上 7 点)运行，其他 DAG 需要在每月的特定日期/时间(即每个月 15 日的早​​上 6 点)运行。

一般来说，Airflow 似乎每天都在正确运行 DAG。所以，schedule_interval = '0 7 * * *与 'start_date': datetime(2017,4,7)每天早上7点运行。

但是，对于每月的 DAG( schedule_interval = '0 6 15 * *' 和 'start_date': datetime(2017,4,7))，它在 4 月 15 日早上 6 点运行，但从那时起就没有运行过。我尝试按月安排的其他 DAG 同样在第一个月后无法运行。

Airflow 关于调度的文档是，IMO，泥泞和其他 SO 问题的答案让我更加困惑。我希望有人能澄清我的理解和我试图每月安排的 DAG 出了什么问题。

Answer 1

Airflow 每月运行计划虽然与其每日计划一致，但令人困惑。因此，每月 DAG 的运行时间比您预期的要晚大约一个月。例如，如果我安排一个 DAG 在一个月的第一个午夜运行(例如 0 0 1 * *)，则执行日期为 2018-04-01 的运行实际上将在 2018-05-01 午夜之后运行。这是因为 Airflow 在运行之前等待执行期结束。我认为这个想法是 2018-04-01 的月度执行代表 2018-04-01 到 2018-05-01 整个期间的数据。

您需要牢记这个概念来调整您的日程安排。