hadoop - 部分聚合与组合器哪个更快？

Question

关于级联/烫伤如何优化有通知map-side evaluation他们使用所谓的部分聚合。它实际上是比 Combiners 更好的方法吗？是否有一些常见的 hadoop 任务(例如字数统计)的性能比较？如果是这样，hadoop 将来会支持吗？

Answer 1

在实践中，部分聚合比使用组合器有更多好处。

组合器有用的情况是有限的。此外，组合器优化了任务所需的吞吐量，而不是减少的数量——这是一个微妙的区别，可以增加显着的性能增量。

在大型分布式工作流中，部分聚合的用例范围要广得多。此外，部分聚合可用于优化工作流所需的作业步骤数。

示例显示在 https://github.com/Cascading/Impatient/wiki/Part-5 中它使用 CountBy 和 SumBy 部分聚合。如果您回顾该项目在 GitHub 上的代码提交历史记录，您会发现之前使用了 GroupBy 和 Count，这导致了更多的 reduce。