gpt4 book ai didi

airflow - Airflow 可以用于运行永无止境的任务吗?

转载 作者:行者123 更新时间:2023-12-03 23:17:29 29 4
gpt4 key购买 nike

我们可以通过将任务/dag 超时设置为 None 并手动触发其运行来使用 Airflow dag 来定义永无止境的作业(即具有无条件循环以消耗流数据的任务)吗?让 Airflow 监测永无止境的任务会导致问题吗?
谢谢

最佳答案

通过 Airflow 运行这个有点奇怪,但是我认为这不是问题。请注意,如果您重新启动运行作业的工作程序(假设为 CeleryExecutor),您将中断任务,如果 retries,您需要再次手动启动它。未设置。还要确保 DAG 设置 execution_timeout=None (默认)。

关于airflow - Airflow 可以用于运行永无止境的任务吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47746941/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com