hadoop - 写入 HDFS : File is overwritten

Question

我正在写入 hadoop 文件系统。但是每次我追加一些东西时，它都会覆盖数据而不是将其添加到现有数据/文件中。下面提供了执行此操作的代码。针对不同的数据一次又一次地调用此代码。每次打开一个新的 SequenceFile.Writer 都会出问题吗？

每次我将路径设置为 new Path("someDir");

  public void writeToHDFS(Path path, long uniqueId, String data){
      FileSystem fs = path.getFileSystem(conf);
      SequenceFile.Writer inputWriter = new SequenceFile.Writer(fs, conf,
          path, LongWritable.class, MyWritable.class);
      inputWriter.append(new LongWritable(uniqueId++), new MyWritable(data));
      inputWriter.close();
  }

Answer 1

目前无法通过 API 附加到现有的 SequenceFile。当你制作新的 SequenceFile.Writer对象，它不会附加到该 Path 处的现有文件，而是覆盖它。看我的earlier question .

正如 Thomas 指出的那样，如果您保持相同的 SequenceFile.Writer对象，您将能够附加到文件，直到您调用 close() .