gpt4 book ai didi

google-bigquery - 从 BigQuery 连接到 Cloud SQL 服务器实例

转载 作者:行者123 更新时间:2023-12-02 00:08:51 26 4
gpt4 key购买 nike

有一个选项可以从 BigQuery 连接 Cloud mySQL 实例。我只是想知道如何将 Cloud SQL Server 实例连接到 BigQuery。

最佳答案

SQL 服务器:

有许多第三方扩展/工具提供此服务。其中之一是 Google BigQuery 的 SSIS 数据流源和目标,它是通过 SSIS 工作流将 SQL Server 与 Google BigQuery 数据连接起来的 Visual Studio 扩展。:

关于使用 SQL Server Integration Services 将数据从本地 SQL Server 加载到 BigQuery,您可以查看 this site .您还可以使用 Cloud Dataflow 从关系数据库执行 ETL 到 BigQuery,official documentation详细说明如何完成,您可能需要使用 Cloud Storage 作为中间数据接收器。

云 SQL:

BigQuery 允许使用 federated query 从 Cloud SQL 查询数据.连接必须在您的 Cloud SQL 实例所在的同一项目中创建。如果您想从另一个项目中的 BigQuery 查询存储在您的 Cloud SQL 实例中的数据,请按照下面列出的步骤操作:

  1. 在您的项目中启用 BigQuery API 和 BigQuery 连接 API。

  2. 按照 this documentation 在项目中创建到您的 Cloud SQL 实例的连接.

  3. 创建连接后,请在 BigQuery 中找到并选择它.

  4. 单击SHARE CONNECTION 按钮和grant permissions给将使用该连接的用户。请注意,只有 BigQuery Connection User 角色才能使用共享连接。

此外,请注意“Cloud SQL 联合查询”功能处于 Beta 阶段,可能会更改或支持有限(某些地区不可用,在这种情况下,需要使用提到的支持选项之一here)。请记住,要在 BigQuery 中使用 Cloud SQL 联合查询,实例需要具有公共(public) IP。

如果您的能力有限,例如按地区划分,一个不错的选择可能是将数据从 CloudSQL 以 CSV 的形式导出到存储, 然后 load it进入大查询。如果需要,可以使用 Cloud Composer 自动执行此过程,请参阅 this article .

另一种方法是从 Cloud SQL(带导出)中提取信息,然后通过加载作业或流式插入将其导入 BigQuery。

希望以上信息对您有用。

关于google-bigquery - 从 BigQuery 连接到 Cloud SQL 服务器实例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59711848/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com