apache-spark - Apache Spark 中 reduce 和 reduceByKey 的区别

Question

Apache Spark 中的 reduce 和 reduceByKey 在功能上有什么区别？为什么 reduceByKey 是一个转换而 reduce 是一个 Action ？

Answer 1

这接近于 my answer explaining reduceByKey 的副本，但我将详细说明使两者不同的具体部分。但是，请参阅我的回答以了解有关 reduceByKey 内部结构的更多细节。

基本上，reduce 必须将整个数据集拉到一个位置，因为它正在减少到一个 最终值。另一方面，reduceByKey 是每个 键的一个值。由于此操作可以首先在每台机器上本地运行，因此它可以保留为 RDD，并对其数据集进行进一步的转换。

请注意，但是有一个 reduceByKeyLocally 可以用来自动将 Map 下拉到一个位置。