Hadoop mapreduce编程

Question

如何使用 Hadoop mapreduce 编程获取已排序的 o/p。

有什么方法可以按排序顺序获得最终的键值对。 (通过键或值)。

对此非常感谢。

谢谢R

Answer 1

默认情况下，MapReduce 将按键对输入记录进行排序。

但是，下载最新的 Hadoop 版本并查看它们的示例可能对您有更多帮助。还有不同的排序示例。

如果您需要有关排序顺序的更多信息，可以这样更改。

键的排序顺序由 RawComparator 控制，如下所示:

1. 如果设置了 mapred.output.key.comparator.class 属性，则该类的一个实例用来。 (JobConf 上的 setOutputKeyComparatorClass() 方法很方便设置此属性的方法。)

2. 否则，键必须是 WritableComparable 的子类，并且已注册使用键类的比较器。

3. 如果没有注册比较器，则使用反序列化的 RawComparator字节流被比较成对象并委托(delegate)给 WritableComparable 的 compareTo() 方法。这些规则强化了为什么注册优化版本的 RawCompara 很重要器为您自己的自定义可写类，而且它很容易覆盖通过设置您自己的比较器来排序。