hadoop - Hadoop:排序和混排

Question

我是hadoop地区的新手。您能帮我负责(k2,list[v2,v2,v2...])形式的输出(意味着将键及其所有关联值组合在一起)的责任是吗？

谢谢。

Answer 1

这是Hadoop的MapReduce组件如何工作，查找埃及每年最高气温的示例。

给出一组每年的温度值记录

sample record1: 1995, Jan, Cairo , 33, C
sample record2: 1995, Feb, Cairo , 37, C
......
......

map 功能通过提取年份和气温来解析输入记录，并将其作为输出输出

example map output
(1950,0)
(1950, 22)
(1950, -11)
(1949, 111)
(1949, 78)

然后，由MapReduce框架 处理map函数的输出，然后再将发送到reduce函数。此处理按键对键值对进行排序和分组

sample sort output 
(1949, [111, 78])
(1950, [0, 22, −11])

最后，每年都会显示所有气温读数的列表。现在所有reduce函数要做的就是遍历列表并获取最大读数:

(1949, 111)
(1950, 22)

引用: Hadoop: The Definitive Guide, 4th Edition