sorting - Hadoop - 按键正确排序并按 reducer 分组

Question

我有一些数据来自 reducer，它们是这样的:

9,2    3
5,7    2
2,3    0
1,5    3
6,3    0
4,2    2
7,1    1

我想根据第二列的数字对它们进行排序。像这样:

2,3    0
6,3    0
7,1    1
5,7    2
4,2    2
1,5    3
9,2    3

当我在本地运行我的程序时，我使用:

sort -k2,2n

但我不知道如何在 Hadoop 上做同样的事情。我尝试了几个不起作用的选项，例如:

-D mapreduce.partition.keycomparator.options=-k2,2n

而且，我希望所有具有相同 key 的数据都可以在同一个 reducer 上运行。所以在这种情况下:

2,3   0

和

6,3   0

应该由同一个 reducer 处理。

关于我应该放在 hadoop 上的选项有什么想法吗？

提前致谢!

Answer 1

在作业的默认配置中，第一列是 reducer 结果的键，第二列是值。为了产生结果，reducer 正在处理具有相同键的所有记录。因此，在您的情况下，您需要运行一个额外的 mapreduce 作业。该 map 会将第二列作为键，将第一列作为值。此作业将根据您的要求对数据进行分组。但是，如果您的数据量很小，则每个作业只设置一个 reducer -D mapred.reduce.tasks=1。