python - 将数据从 bigquery 转储到 postgresql

Question

我在 google bigquery 中有大约 3GB 的 4-5 表，我想将这些表导出到 Postgres。阅读我发现我必须执行以下步骤的文档。

1. 创建一个作业，将数据提取到 Google 存储桶中的 CSV。
2. 从谷歌存储到本地存储。
3. 解析所有CSV到数据库

所以在上面的步骤中有没有什么有效的方法可以做到这一切。我知道第 1 步和第 2 步不能跳过任何提高效率的机会，但在第 3 步中从网上阅读，我发现完成此过程需要 2-3 个小时。

任何人都可以建议我一个有效的方法来做到这一点

Answer 1

做一个示例项目，看看你得到了什么时间，如果你能接受那些时间，那么优化还为时过早。如果您有 1Gbit 的互联网访问权限并且服务器在 SSD 上运行，我认为这一切都可以在大约 3-5 分钟内完成。