hadoop - MR作业根据键将字符串附加到长行

Question

我的资料:

ABC|value x|value y
CDE|value n|value m
GHI|value h|value i
ABC|value o|value p
CDE|value f|value g

我需要以下输出:

ABC: (value x, value y), (value o, value p)
CDE: (value n, value m), (value f, value g)
GHI: (value h, value i)

我的理解是，在映射器中，我应该将输入分成键/值对，如下所示:

"value x|value y"             ABC
"value n|value m"             CDE

但是我被困在 reducer 上-有什么想法吗？

Answer 1

好，我知道了。

映射器实际上应该产生以下内容:

ABC             "value x|value y"             
CDE             "value n|value m"             

然后，在化简器中(知道Hadoop默认情况下对键进行排序)，我们可以使用将后续值添加到键 if key == next key的简单逻辑。