gpt4 book ai didi

google-cloud-dataflow - DataflowRunner 管道错误 - 无法重命名

转载 作者:行者123 更新时间:2023-12-05 03:55:11 25 4
gpt4 key购买 nike

我的 DataFlow 作业从 GS 存储桶中读取一个 CSV 文件,查询另一项服务以获取额外数据并将其写入新的 CSV 文件并存储回存储桶,但它似乎在开始获取输入 CSV 文件之前就掉了。 ..

这是我得到的错误:DataflowRuntimeException - 数据流管道失败。状态:失败,错误:无法重命名“gs://../../job.1582402027.233469/dax-tmp-2020-02-22_12_07_49-5033316469851820576-S04-0-1719661b275ca435/tmp-1719661b275ca22ea-shardb-73b22ea-shardb73 endshard.avro”到“gs://../../temp/job.1582402027.233469/tmp-1719661b275ca2ea-00000-of-00001.avro”。

知道这个错误的原因是什么吗?

here is a print screen

最佳答案

通常该错误是由于您在 DataFlow 作业中使用的服务帐户没有正确的 GCS(谷歌云存储)权限。

您应该向服务帐户添加一个类似“roles/storage.objectAdmin”的角色,以允许与 GCS 进行交互。

关于google-cloud-dataflow - DataflowRunner 管道错误 - 无法重命名,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60356663/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com