gpt4 book ai didi

scala - 如何在 Apache Flink Streaming 0.10.0 中指定 OVERWRITE 为 writeAsText?

转载 作者:行者123 更新时间:2023-12-01 17:16:31 26 4
gpt4 key购买 nike

我在 scala 中有一个方法


counts.writeAsText(文件路径)

当文件已存在时抛出异常并建议指定文件或目录已存在。在 NO_OVERWRITE 模式下不会覆盖现有文件和目录。使用OVERWRITE模式覆盖现有文件和目录。。但我没有在 DataStream 类中找到接受 org.apache.flink.core.fs.FileSystem.WriteMode 的方法。只有一个签名接受 Long 毫秒数。

最佳答案

Scala API 目前缺少相应 WriteMode 参数的重载。这是一个错误,将被修复。

与此同时,您始终可以通过 fs.overwrite-files 配置参数控制 Flink 的默认覆盖行为。如果您在 flink-conf.yaml 中将此参数设置为 fs.overwrite-files: true,则写入文件将始终覆盖。

可以找到相应JIRA问题的状态here .

关于scala - 如何在 Apache Flink Streaming 0.10.0 中指定 OVERWRITE 为 writeAsText?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33890759/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com