hadoop - 生成适当数量的 reducer 输出

Question

我正在运行一个简单的 map and reduce Hadoop 作业。 mapred.reduce.tasks 属性已由 Hadoop 管理员在 mapred-site.xml 文件中设置。假设它是 25。现在，我的工作只产生 4 个不同的 key ，所以 25 个 part-r-xxxx 文件中只有 4 个是非空的，其余的是空文件。我该如何防止这种情况？我只想要与生成的 key 数量一样多的输出文件(我事先不知道)。

谢谢。

Answer 1

我建议使用 LazyOutputFormat:

LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);

这将确保只有在该 reducer 有一些实际数据时才会创建输出文件。