gpt4 book ai didi

java - 如何避免在spark saveAsHadoopFile()中生成.crc文件?

转载 作者:行者123 更新时间:2023-11-30 07:11:32 30 4
gpt4 key购买 nike

在java - apache Spark中使用saveAsHadoopFile方法时是否有任何配置可以关闭生成.crc文件?

我使用 Apache Spark 1.6.2 并以独立模式运行我的应用程序。

最佳答案

我没有找到任何方法来避免在使用 saveAsHadoopFile() 方法时创建 .crc 文件。因此我编写了一个实用程序来删除那些不需要的 .crc 和 .SUCCESS 文件。

关于java - 如何避免在spark saveAsHadoopFile()中生成.crc文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39165805/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com