hadoop - 如何找到一个特定的键值对作为 reducer 的输出

Question

我需要使用 MR 找到得分最高的学生

Paul 90
Ben 20
Cook 80
Joe 85

所以reducer的输出应该是(Paul 90)

谁能帮我解决这个问题？

Answer 1

执行此操作的一个好方法是在 Hadoop 中进行二次排序。您的 map 输出键应该是(名称、标记)的组合。

然后您将实现一个自定义比较器，它可以采用此键并基于标记仅比较 2 个给定值并根据较高标记进行排序。

通常我们会实现一个分组比较器，但在这种情况下，我们希望所有的键都进入一个单一的缩减器。因此，我们将忽略分组比较器中的关键差异。

在 reducer 中只获取第一个值并退出。

二次排序详情:Secondary Sort