google-bigquery - 使用 Azure 数据工厂将数据从 Google Bigquery 移动到 Azure Data Lake Storage

Question

我有一个场景，我需要连接 Google Big Query 中的 Azure 数据工厂 (v2) 以将数据移动到我的 Azure 数据湖，但我没有工作。

当我创建链接服务时，我选择 Big Query 作为源，我将有关 BigQuery 的所有信息作为项目名称、连接类型等，但是当我单击 Validade 按钮时，会为我显示一条消息:(对于例如)...

UserError: ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant'Type=,Message=ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant,Source=,', activityId: 05ff5ce1-5262-4794-853c-c9e39b7f4b71

有什么想法吗？有人已经测试过这个连接器？

谢谢。皮特博诺莫

Answer 1

BigQuery 的 ADF 连接器的文档解释了参数的含义，但未就如何获取这些参数的值提供任何指导。

我在这上面花了几天时间，终于让它工作了。我使用“用户身份验证”是因为我想使用基于云的 IR。 “Client Id”和“Client Secret”可以通过在 GCP Console 中创建新凭证来获取。但是要获得“刷新 token ”，您必须与 Google 进行 OAuth2 舞蹈并拦截 token 。

我整理了一个 PowerShell 脚本来为您执行此操作，并在 GitHub 上写了一篇文章，指导您完成向 Google BigQuery 验证 ADF v2 的过程:

https://github.com/AnalyticJeremy/ADF_BigQuery