Hadoop:如何生成自定义减少输出文件名？

Question

现在，我使用 MultipuleOuputs。我想从 reducer 的输出文件名中删除后缀字符串“-00001”，例如“xxxx-[r/m]-00001”。

有什么想法吗？

谢谢。

Answer 1

来自 Hadoop javadoc to the write() method of MultipleOutputs :

Output path is a unique file generated for the namedOutput. For example, {namedOutput}-(m|r)-{part-number}

所以你需要在HDFS上重命名或合并这些文件。