gpt4 book ai didi

Java Apache Beam - 使用 DataflowRunner 保存文件 "LOCALY"

转载 作者:行者123 更新时间:2023-12-02 05:37:45 25 4
gpt4 key购买 nike

Can send the java code but currently, it's not necessary.

我遇到一个问题,因为当我以(DirectRunner - 使用 Google VM 实例)运行作业时,它工作正常,因为它将信息保存到本地文件并继续...

尝试使用(DataflowRunner)时出现问题,我收到的错误:

java.nio.file.NoSuchFileExtension: XXXX.csv
.....
.....
XXXX.csv could not be delete.

它可以被删除,因为它甚至没有创建。

问题 - 通过 DataflowRunner 运行时如何在本地写入文件??

附注使用 Apache Beam

管道(部分代码)-Reading from BigQuery and store data to Google storage (Special Character issue)

最佳答案

据我所知,当它作为数据流实例运行时,您必须将文件写入 GCS 服务(又名存储桶)而不是本地磁盘。

你已经尝试过了吗?创建存储桶:https://cloud.google.com/storage/docs/creating-buckets

关于Java Apache Beam - 使用 DataflowRunner 保存文件 "LOCALY",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56156510/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com