gpt4 book ai didi

airflow - 在 Airflow 中,有没有很好的方法来调用另一个dag的任务?

转载 作者:行者123 更新时间:2023-12-03 16:41:50 26 4
gpt4 key购买 nike

我有dag_prime和dag_tertiary。

  • dag_prime:扫描目录并打算调用dag_tertiary
    在每一个。目前是PythonOperator。
  • dag_tertiary:扫描传递给它的目录,并对其内容进行(可能很耗时)计算。

  • 我可以从python运算符的系统调用中调用第二个,但我觉得必须有一种更好的方法。如果有一种简单的方法,我也想考虑对dag_tertiary调用进行排队。有没有比使用系统调用更好的方法?

    谢谢!

    最佳答案

    使用TriggerDagRunOperator从另一个调用一个DAG。

    可以在运算符TriggerDagRunOperator Airflow documentation中找到详细信息。

    以下帖子提供了使用此运算符的一个很好的示例:
    https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand

    关于airflow - 在 Airflow 中,有没有很好的方法来调用另一个dag的任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45271532/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com