aggregate - Elastic MapReduce 中的可用缩减器

Question

我希望我是以正确的方式提出这个问题。我正在学习使用 Elastic MapReduce 的方法，并且看到了很多关于可与“流式”作业流一起使用的“聚合”reducer 的引用资料。

在 Amazon 的“Amazon Elastic MapReduce 简介”PDF 中，它指出“Amazon Elastic MapReduce 有一个名为 aggregrate 的默认缩减器”

我想知道的是:还有其他可用的默认 reducer 吗？

我知道我可以编写自己的 reducer ，但我不想最终编写已经存在的东西并“重新发明轮子”，因为我确信我的轮子不会像原来的那样好。

Answer 1

他们引用的 reducer 记录在此处:

http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html

这是流式实用程序中内置的 reducer 。它通过编写一个输出以特殊方式格式化的键的映射器，提供了一种进行常见计算的简单方法。

例如，如果您的映射器输出:

LongValueSum:id1\t12
LongValueSum:id1\t13
LongValueSum:id2\t1
UniqValueCount:id3\tval1
UniqValueCount:id3\tval2

reducer 将计算每个 LongValueSum 的总和，并计算 UniqValueCount 的不同值。因此，reducer 输出将是:

id1\t25
id2\t12
id3\t2

与运行流式组合器和缩减器相比，此包中的缩减器和组合器非常快，因此使用聚合包既方便又快速。