hadoop - MapReduce-是否可以通过CustomOutputFormat类覆盖输出目录？

Question

我想覆盖mapreduce中的输出目录，但它会抛出“FileAlreadyExists”异常。是否可以通过创建自定义输出类来覆盖输出目录？

Answer 1

最简单的方法是检查输出目录是否存在。如果确实删除了所有内容。

为此，请在驱动程序类中使用[FileSystem][1]类。

    Path outputPath = new Path("/user/foor/jobOutput");
    Job job = new Job();


    FileSystem fs = FileSystem.get(outputPath.toUri(),job.getConfiguration());
    fs.delete(outputPath, true);


    FileOutputFormat.setOutputPath(job, outputPath);