jenkins - 谷歌云存储: Output path does not exist or is not writeable

Question

我正在尝试遵循 google cloud site 中的这个简单的数据流示例。

我已成功安装数据流管道插件和 gcloud SDK(以及 Python 2.7)。我还在谷歌云上建立了一个项目，并启用了计费和所有必要的 API - 如上面的说明中所指定。

但是，当我转到运行配置并更改 Pipeline Arguments 选项卡以选择 BlockingDataflowPipelineRunner 时，在输入创建存储桶并设置项目 ID 后，点击运行会显示:

Caused by: java.lang.IllegalArgumentException: Output path does not exist or is not writeable: gs://my-cloud-dataflow-bucket
    at com.google.cloud.dataflow.sdk.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java:146)
    at com.google.cloud.dataflow.sdk.util.DataflowPathValidator.verifyPathIsAccessible(DataflowPathValidator.java:79)
    at com.google.cloud.dataflow.sdk.util.DataflowPathValidator.validateOutputFilePrefixSupported(DataflowPathValidator.java:62)
    at com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner.fromOptions(DataflowPipelineRunner.java:255)
    at com.google.cloud.dataflow.sdk.runners.BlockingDataflowPipelineRunner.fromOptions(BlockingDataflowPipelineRunner.java:82)
    ... 9 more

我已使用终端执行“gcloud auth login”，我在浏览器中看到我已成功登录。

我真的不确定我在这里做错了什么。谁能确认这是否是使用数据流管道和 Google 存储桶的已知问题？

谢谢!

Answer 1

我在 GCS 存储桶权限方面也遇到了类似的问题，尽管我确实拥有写入权限并且可以将文件上传到存储桶中。对我来说解决问题的是为我提交管道的项目获取 roles/dataflow.admin 权限。