python - 在特定日期列表上执行 Airflow DAG 实例(任务)

Question

我想使用 Apache airflow 管理几个 future 的版本。所有这些发布都是提前知道的，我需要确保一些数据推送不会被遗忘。

问题是那些 future 的发布不遵循一个简单的周期性计划，可以用经典的 cron 来处理，比如 0 1 23 * * 或类似 @monthly .

而是 2019-08-24, 2019-09-30 , 2019-10-20 ...

除了为所有这些 future 版本创建一个单独的 mydag.py 文件之外，还有其他方法吗？执行此操作的标准/推荐方法是什么？我是不是以错误的方式思考这个问题(我想知道是因为文档和教程更侧重于定期的、周期性的事情)？

Answer 1

我可以想到两种简单的方法来做到这一点

1. 创建 3-4 个顶级 DAG，每个都有特定的 start_date = 2019-08-24、2019-09-30... 和 schedule_interval='@once'

2. 创建一个具有 schedule_interval=None(start_date 可以是任何内容)的单个顶级 DAG。然后创建一个“triggering-dag”，它使用 TriggerDagRunOperator至 conditionally trigger您在特定日期的实际工作流程

显然上面的方法2更好