hadoop - 如何从HDFS删除中间输出文件

Question

我正在尝试使用以下方法删除mapreduce程序的中间输出目录

FileUtils.deleteDirectory(new File(tempFiles));

但是此命令不会从hdfs中删除目录。

Answer 1

Map reduce不会在hdfs上写入中间结果，而是在本地磁盘上写入。

每当映射器产生输出时，它首先进入内存缓冲区，当缓冲区超过其默认容量时，将进行分区和排序，它将这些结果溢出到本地磁盘中。

映射器生成的摘要输出进入本地文件系统。

如果在驱动程序类中明确设置了不使用任何 reducer ，则只有在一种情况下，映射器才会将其输出写入hdfs。

在上述情况下，将有最终输出，我们将不说其中间值。