hadoop - Hadoop中的Sort Comparator和Group Comparator有什么区别？

Question

Hadoop 中的排序比较器和组比较器有什么区别？

Answer 1

要了解GroupComparator，请看我对这个问题的回答——

What is the use of grouping comparator in hadoop map reduce

SortComparator:用于定义map输出键如何排序

摘自《Hadoop - 权威指南》一书:

键的排序顺序如下:

1. 如果属性 mapred.output.key.comparator.class 被显式设置或通过在 Job 上调用 setSortComparatorClass()，然后使用该类的一个实例。 (在旧 API 等效方法是 JobConf 上的 setOutputKeyComparatorClass()。)

2. 否则，键必须是WritableComparable的子类，并且注册的使用键类的比较器。

3. 如果没有注册比较器，则使用 RawComparator 反序列化字节流被比较为对象并委托(delegate)给 WritableComparable 的 compareTo() 方法。

单行中的 SortComparator 与 GroupComparator:SortComparator 决定 map 输出键的排序方式，而 GroupComparator 决定 Reducer 中的哪些 map 输出键转到相同的 reduce 方法调用。