airflow - 在没有 Apache Airflow 的情况下运行 Apache Airflow DAG

Question

所以这是一个愚蠢的想法......

我在 Airflow 中创建了(许多)DAG...并且它有效...但是，我想以某种方式将其打包，以便我可以在不安装 Airflow 的情况下运行单个 DAG 运行；即它是独立的，所以我不需要所有的网络服务器、数据库等。

无论如何，我主要是用触发器 dag 实例化新的 DAG 运行，并且我注意到运行 Airflow 的开销显得相当高(工作人员的负载很高，基本上什么也不做，有时可能需要 10 秒的时间才能对相关任务进行排队等)。

我不太关心所有的日志记录等。

Answer 1

您可以创建一个执行 Airflow 运算符的脚本，尽管这会丢失 Airflow 提供的所有元数据。您仍然需要将 Airflow 作为 Python 包安装，但不需要运行任何网络服务器等。一个简单的示例如下所示:

from dags.my_dag import operator1, operator2, operator3

def main():
    # execute pipeline
    # operator1 -> operator2 -> operator3

    operator1.execute(context={})
    operator2.execute(context={})
    operator3.execute(context={})

if __name__ == "__main__":
    main()