google-cloud-platform - Google Cloud Data Fusion 的权限问题

Question

我正在按照 Cloud Data Fusion sample tutorial 中的说明进行操作一切似乎都很好，直到我尝试在最后运行管道。按照说明为 Google 托管的服务帐户设置了 Cloud Data Fusion Service API 权限。管道预览功能可以正常工作。

但是，当我部署和运行管道时，它会在几分钟后失败。在状态从配置更改为运行后不久，管道停止并出现以下权限错误:

   com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 Forbidden
    {
      "code" : 403,
      "errors" : [ {
        "domain" : "global",
        "message" : "xxxxxxxxxxx-compute@developer.gserviceaccount.com does not have storage.buckets.create access to project X.",
        "reason" : "forbidden"
      } ],
      "message" : "xxxxxxxxxxx-compute@developer.gserviceaccount.com does not have storage.buckets.create access to project X."
    }

xxxxxxxxxxx-compute@developer.gserviceaccount.com 是我项目的默认 Compute Engine 服务帐户。

“Project X”虽然不是我的，但我不知道为什么管道启动代码试图在那里创建一个存储桶，它确实成功地创建了临时存储桶(一个称为 df-xxx，另一个称为 dataproc-xxx)项目失败之前。

我已经用两个单独的帐户尝试过这个，并且在两个地方都得到了相同的错误。我曾尝试向各种服务帐户添加存储/管理员角色但无济于事，但那是在我意识到它试图完全访问不同的项目之前。

Answer 1

我相信我能够重现这一点。发生的事情是 BigQuery Source 插件首先 creates用于将数据导出到的临时工作 GCS 存储桶，我怀疑它默认尝试在数据集项目 ID 中创建它，而不是您自己的项目。

解决方法是，在您的账户中创建一个 GCS 存储桶，然后在管道的 BigQuery 源配置中，将“临时存储桶名称”配置设置为“gs:// ”