hadoop - 高层聚合

Question

任何人都可以向我解释/提供链接注册。那，什么是high level aggregation呢？我读了一些设置属性的地方

  hive.map.aggr = true

执行高级聚合。但是我找不到它的意思!

Answer 1

hive.map.aggr 控制我们如何进行聚合。默认为假。如果设置为true，Hive会直接在map任务中做一级聚合。这通常会提供更高的效率，但可能需要更多内存才能成功运行。

https://cwiki.apache.org/Hive/languagemanual-groupby.html#LanguageManualGroupBy-MapsideAggregationforGroupBy

进一步讨论: http://dev.bizo.com/2013/02/map-side-aggregations-in-apache-hive.html