hadoop - Reducer 根据键输出到不同的文件

Question

是否可以根据键将 reducer 的输出写入不同的文件？

例如，如果我将以下数据提供给 reducer :

(Key, Value) ==> (1, A) (1, B) (2, C) (2, D)

输出应写入 2 个不同的文件 output1 和 output2，

output1 必须包含:

(key, Value) ==> (1, [A,B])

output2 必须包含:

(key value) ==> (2, [C,D])

有人可以指导我如何做到这一点吗？

Answer 1

默认分区器为 HashPartitoner .

他们保证相同的 key 最终出现在相同的 Reducer 中。

如果您需要将具有不同键的相同值输出到一个文件 -
您可以使用 Custom Partitioners为了那个原因。

eg: 1,[A,B,G,M]
    1,[A,K,I,Y]
    2,[G,A,O]
    2,[U]

如果您需要 A 在同一个 reducer 中包含值，您可以使用自定义分区器。

在这个特定的例子中，我们打破了 Reduce 理论(相同的键进入相同的 Reducer)。在实现自定义分区时

1,[A,B,G,M] 
1,[A,K,I,Y] 
2,[G,A,O] 

进入 1 个 Reducer，即使它们不是同一个键。

检查此 link

也可以通过 Custom Partitioner : N number of keys to N different files