google-bigquery - 从 BigQuery 连接到 Cloud SQL 服务器实例

Question

有一个选项可以从 BigQuery 连接 Cloud mySQL 实例。我只是想知道如何将 Cloud SQL Server 实例连接到 BigQuery。

Answer 1

SQL 服务器:

有许多第三方扩展/工具提供此服务。其中之一是 Google BigQuery 的 SSIS 数据流源和目标，它是通过 SSIS 工作流将 SQL Server 与 Google BigQuery 数据连接起来的 Visual Studio 扩展。:

• https://www.cdata.com/drivers/bigquery/ssis/
• https://marketplace.visualstudio.com/items?itemName=CDATASOFTWARE.SSISDataFlowSourceDestinationforGoogleBigQuery

关于使用 SQL Server Integration Services 将数据从本地 SQL Server 加载到 BigQuery，您可以查看 this site .您还可以使用 Cloud Dataflow 从关系数据库执行 ETL 到 BigQuery，official documentation详细说明如何完成，您可能需要使用 Cloud Storage 作为中间数据接收器。

云 SQL:

BigQuery 允许使用 federated query 从 Cloud SQL 查询数据.连接必须在您的 Cloud SQL 实例所在的同一项目中创建。如果您想从另一个项目中的 BigQuery 查询存储在您的 Cloud SQL 实例中的数据，请按照下面列出的步骤操作:

1. 在您的项目中启用 BigQuery API 和 BigQuery 连接 API。

2. 按照 this documentation 在项目中创建到您的 Cloud SQL 实例的连接.

3. 创建连接后，请在 BigQuery 中找到并选择它.

4. 单击SHARE CONNECTION 按钮和grant permissions给将使用该连接的用户。请注意，只有 BigQuery Connection User 角色才能使用共享连接。

此外，请注意“Cloud SQL 联合查询”功能处于 Beta 阶段，可能会更改或支持有限(某些地区不可用，在这种情况下，需要使用提到的支持选项之一here)。请记住，要在 BigQuery 中使用 Cloud SQL 联合查询，实例需要具有公共(public) IP。

如果您的能力有限，例如按地区划分，一个不错的选择可能是将数据从 CloudSQL 以 CSV 的形式导出到存储, 然后 load it进入大查询。如果需要，可以使用 Cloud Composer 自动执行此过程，请参阅 this article .

另一种方法是从 Cloud SQL(带导出)中提取信息，然后通过加载作业或流式插入将其导入 BigQuery。

希望以上信息对您有用。