hadoop - 如何按特定顺序对送往 reducer 的值进行排序

Question

在我的map-reduce作业中，映射器的输出类型为<Text, FileAlias>，类FileAlias具有两个属性，如下所示

   public class FileAlias extends Configured implements WritableComparable<FileAlias>{

    public boolean isAlias;
    public String value;
      ...
   }

对于每个输出键( Text类型)，只有一个输出值( FileAlias类型)将 isAlias属性设置为true。我希望此输出值成为送入reducer的 OutputCollector中的第一项。有什么办法吗？

Answer 1

看一看Job对象上的setGroupingComparatorClass方法。您应该能够实现一个比较器，该比较器在传递给reduce任务的Iterable中首先使FileAlias与isAlias == true一起使用。