hadoop - Reducer 中的多个输出

Question

我正在研究简单的 map reduce 程序。我想在 reducer 之后为 key 中的每个不同单词创建不同的文件。例如，在执行 Mapreduce 之后我有类似的东西

优先级 1 x 2

优先级 1 和 2

优先级 1 z 2

优先级 2 x​​ 2

优先级2 y 2

现在我想要在 reduce 阶段后使用不同的文件，比如 Priority1 和 Priority2，它们根据优先级具有所有这些值。我正在使用 java，想知道在 reducer 中应该写什么来获得这种输出？

我只想知道这是否可能，或者如何解决或解决这个问题？我使用的是 Hadoop 0.20.203，因此多重输出不起作用。

任何指针都会有所帮助。谢谢您的帮助!阿图尔

Answer 1

您需要先创建一个partioner 类，根据您的条件进行分区。

然后您需要创建自己的outputformat 类和recordwriter 类。

recordwriter 类，需要根据您的需要写入不同的文件。此外，如果您需要对您的值进行排序，请为您的关键字段创建 comparator 类。