postgresql - Airflow 将 postgres 数据库的所有表导出到 BigQuery

Question

我目前正在使用 Airflow PostgresToGoogleCloudStorageOperator和 GoogleCloudStorageToBigQueryOperator将我的 Postgres 数据库(托管在 AWS RDS 上)的每个表导出到 BigQuery。它有效，但我有 75 个表，所以 Airflow 创建了 75 * 2 个工作。由于我是 Airflow 的新手，我不知道这是否是一个好习惯。

无论如何，我想找到一种方法将所有表一次(pg_dump？)导出到 GCS，然后将它们导入 BigQuery。

Answer 1

这确实是一个意见问题，但我认为拥有 72 x 2 任务的工作很好。听起来这份工作是一次性的还是不频繁的？如果您使用 YAML 文件指定表并让您的 DAG 查看 YAML 文件以获取要导出的表列表，则加分项。

如果这是您经常运行的内容，那么我认为最好使用 BashOperator和 pg_dump正如您所建议的，因为在其他人完成后，Airflow 可能需要花费相当多的时间来安排任务。您必须对 Airflow 并行性和调度程序间隔(可能是其他一些 Airflow 配置选项)进行一些测试，以使其有效运行。