postgresql - 将 PostgreSQL 表流式传输到 Google BigQuery

Question

我想自动将数据从外部 PostgreSQL 数据库流式传输到我的 GCP 帐户中的 Google Cloud Platform BigQuery 数据库中。到目前为止，我已经看到可以使用 EXTERNAL_QUERY() 函数查询外部数据库(MySQL 或 PostgreSQL)，例如: https://cloud.google.com/bigquery/docs/cloud-sql-federated-queries

但要实现这一点，数据库必须位于 GCP Cloud SQL 中。我试图查看从外部 PostgreSQL 流式传输到 Cloud SQL PostgreSQL 数据库有哪些选项，但我只能找到有关在一次性副本中复制它的信息，而不是流式传输: https://cloud.google.com/sql/docs/mysql/replication/replication-from-external

我希望将此流式传输到 BigQuery 的原因是我使用 Google Data Studio 从外部 PostgreSQL 创建报告，效果很好，但 GDS 只能接受来自 Google BigQuery 数据库的 SQL 查询参数。例如。如果我们有一个包含 1M 条目的表，并且我们希望用户添加 Google Data Studio 参数，这将变成:

SELECT * from table WHERE id=@parameter;

这意味着查询速度会更快，并且不会达到 Google Data Studio 中 10 万条记录的限制。

在外部 PostgreSQL(只读访问)和 Google BigQuery 之间创建连接的最佳方式是什么，以便在通过 BigQuery 进行查询时获得与查询外部 PostgreSQL 相同的实时结果？

Answer 1

也许您错过了谷歌云用户指南中所述的选项？

https://cloud.google.com/sql/docs/mysql/replication/replication-from-external#setup-replication

本节注意，它说:

“设置复制设置时，您还可以决定 Cloud SQL 副本是否应在初始导入完成后与源数据库服务器保持同步。应保持同步的副本在线。A仅更新一次的副本处于脱机状态。”

我怀疑您正在寻找在线模式。