airflow - 如何在不复制我们的仓库的情况下在 Airflow 中运行 DBT

Question

我们将 DBT 与 GCP 和 BigQuery 结合使用在 BigQuery 中进行转换，这是安排我们每天的最简单方法 run dbt好像是BashOperator在 Airflow 中。目前我们有两个独立的目录/github 项目，一个用于 DBT，另一个用于 Airflow。为了安排 DBT 与 Airflow 一起运行，似乎我们的整个 DBT 项目需要嵌套在我们的 Airflow 项目中，这样我们就可以为我们的 dbt run 指向它。 bash 命令？
是否可以触发我们的dbt run和 dbt test不将我们的 DBT 目录移动到我们的 Airflow 目录中？与 airflow-dbt package , 为 dir在 default_args ，也许可以在这里指向 DBT 项目的 Gibhub 链接？

Answer 1

我的建议是将您的 dbt 和 Airflow 代码库分开。
确实有更好的方法:

在一个简单的基于 python 的镜像中 dockerise dbt 项目，您可以在其中复制代码库

将其推送到 DockerHub 或 ECR 或您正在使用的任何其他 docker 存储库

使用 DockerOperator 在您的 Airflow DAG 中使用您的 dbt 代码运行该 docker 镜像

我假设你在这里使用了 Airflow LocalExecutor 并且你想执行你的 dbt run运行 Airflow 的服务器上的工作负载。如果情况并非如此，并且您有权访问 Kubernetes 集群，我建议您改用 KubernetesPodOperator .