hadoop - 为什么 map reduce 对键进行排序而不是简单地将相同的键组合在一起？

Question

如果 IMO Hadoop 简单地将相同的 key 组合在一起，则可以节省 CPU 和内存
(如 this answer ，它是 O(n) )，
而不是严格排序键(即 O(nlgn) )。
是否有任何应用程序依赖于严格排序的键？

Answer 1

没错，Map/Reduce 作业不一定需要对键进行排序，Hadoop 这样做主要是因为它用于分组，因为它很方便，而不是因为它是必要的，如果你的应用程序不依赖于订购。

它实际上正在讨论 the MAPREDUCE Jira ，我建议阅读那里的所有评论以获取更多实现细节。

趣闻轶事，the MARS project报告了使用散列而不是使用他们自己的实现进行排序的 45% 提升。