java - 归约化约简输出的键值对

Question

我的job包含一个mapper和reducer。 reducer发出key value对，其中key是学生的姓名，而value是gpa。 reducer计算gpa。我如何才能使reducer输出按value(gpa)排序？
reducer 代码:

public class ReducerClass extends Reducer<Text, IntWritable, Text, IntWritable> {
      public void reduce(Text key, Iterable<IntWritable> values,
          Context context)
          throws IOException, InterruptedException {
          int i = 0;
          int total = 0;
          for (IntWritable value : values) {
              i++;
              total = total + value.get();
          }
          context.write(key, new IntWritable(total));
      }
}

Answer 1

一种方法是使用辅助排序。 here。这个想法是在reducer键(一个复合键)内也添加值，并允许hadoop在map的输出中进行排序。这需要对现有设计进行更多更改。

另一种方法(可能更简单)是，当您完成当前工作后，可以将第一份工作的输出交给第二份工作，并交换键和值。在这种情况下，第二个作业只能有一个 map ，并且输出将显示为基于gpa排序。具有相同gpa的任何重复生都可以作为特定gpa的列表。