hadoop - 在级联中删除 outputPath

Question

我们一般使用如下代码删除mapreduce中的输出路径

outputPath.getFileSystem(conf).delete(outputPath,true);

我的问题是，我们可以在级联中做同样的事情吗？如果是，请建议我这样做的步骤。
谢谢:)

Answer 1

如果打算在下一次运行 mapreduce 时重用输出目录，则将接收器 Tap 的属性设置为 SinkMode.REPLACE。它会删除 hdfs 输出目录，并且 mapreduce 作业在重新运行之间不会失败。

Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)