gpt4 book ai didi

hadoop - Reducer是否可以读取相同顺序的af映射器输出,而不是将具有值的唯一键分组?

转载 作者:行者123 更新时间:2023-12-02 21:33:19 25 4
gpt4 key购买 nike

我对Hadoop如何从Mapper到Reducer排序数据有基本的了解。
我将以下数据写入context Mapper。以下数据是键,值对

abc 1234
cde 2394
dec 8273
abc 2348
cde 8780
dec 6590

键的 abc, cde, dec连续n次具有相同或不同的值。
Reducer读入具有一组值的键。即
abc {1234, 2348, ...} and so on with other keys.

问题:是否有可能以相同的Mapper输出顺序将数据读取到reducer中,而不是使用具有值的唯一键组?

最佳答案

如果您需要根据标题处理数据,那么我认为您可以使用以下方法:
Mapper:-

剪切标题并将其作为键,并将其余数据作为值。
现在,该特定 header 的所有数据将移至reducer。
Reducer:-

我们将在reducer中将这些值而不进行分组。

abc 1234
cde 2394
dec 8273
abc 2348
cde 8780
dec 6590

然后,我们将能够分别处理数据。

关于hadoop - Reducer是否可以读取相同顺序的af映射器输出,而不是将具有值的唯一键分组?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33475149/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com