hadoop - 如何在Hadoop程序中移动文件？

Question

我希望能够从相同的reducer输出写入多个目录。我正在使用MultipleOutput写入多个文件。现在，我想将这些文件移动到其他目录。如何在Java的Hadoop MapReduce程序中做到这一点？

Answer 1

很简单使用FileSystem.rename。例如。，

    Configuration conf = ...;
    Job job = ...;
    Path output = new Path("your_map_reduce_output_dir");
    // ...
    if(job.waitForCompletion(true)) {
        FileSystem fs = FileSystem.get(conf);
        Path dest = new Path("your_dest_dir");
        return fs.rename(output, dest);
    }
    else {
        return false;
    }