Hadoop CopyToLocal 创建 .crc 文件

Question

Hadoop copyToLocal 正在目标目录中创建 .crc 文件以及实际的数据文件，这对我来说是不必要的，并且会影响我进一步的数据处理。有没有办法避免创建它而不是稍后删除它？

  val config = new Configuration()
  val fs = FileSystem.get(config)
  fs.copyToLocalFile(new Path(src),new Path(dest))

Maven 依赖:

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.0.0</version>
      <scope>provided</scope>
    </dependency>

Answer 1

在复制文件之前，使用其中一个或两个

fs.setWriteChecksum(false)
fs.setVerifyChecksum(false)

但是，正如我提到的，它是一个文件校验和，这意味着它对于验证成功的副本是必要的。如果您有一个具有不同内容的同名文件，那么它实际上是一个不同的文件，您应该处理这种情况。