gpt4 book ai didi

Airflow DAG 多次运行

转载 作者:行者123 更新时间:2023-12-05 03:58:47 26 4
gpt4 key购买 nike

我有一个 DAG,我想在每次成功完成后运行多次。例如,我想运行它 10 次然后停止。有没有办法做到这一点?我尝试使用 CRON 进行调度,但它看起来并不干净,也无法通过 UI 多次触发 DAG(并行运行)。

最佳答案

我找到了我的用例的解决方案。它结合使用 depends_on_past=True(@Hitesh Gupta 提到)并在下面设置您的 airflow.cfg 文件:

# 每个 DAG 事件 DAG 运行的最大数量
max_active_runs_per_dag = 1

这使我们一次只能运行一个事件的 DAG,并且如果上一次运行失败,也不会继续下一次 DAG 运行。这是我测试过的 Airflow 版本 1.10.1。

关于Airflow DAG 多次运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57718065/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com