airflow - 以不同的频率运行dags |空 Airflow 动

Question

我一直在评估 Airflow 。我有一个用例，我有一个每小时运行一次的工作流，以获得每小时的数据聚合。另一个每天运行以获得相同的每日聚合。是否可以创建一个组合工作流，其中仅当所有小时聚合在过去一天都成功时才运行每日聚合？我已经看到您可以创建子 dag，但是这两个 dag 可以以不同的频率运行吗？如果是如何？

Answer 1

不确定您希望它如何工作，但虽然没有直接的方法可以做到这一点，但有几种方法可以使用广泛的 Airflow 操作器套件来构建这样的 dag。

例如，您可以制作每小时 dag depend_on_past然后使用 python 分支运算符在一天的最后一次运行的每小时 dag 结束时运行/触发日聚合任务/dag。查看 PythonBranchOperator和 TriggerDagRunOperator .

您还可以为每日聚合器创建自己的传感器，以确保当天的所有每小时 dag 均已成功。退房 ExternalTaskSensor以供引用。