apache-spark - Spark 笛卡尔不会引起洗牌？

Question

因此，我尝试根据此 stackoverflow 帖子测试导致改组的 Spark 操作:LINK .但是，当 cartesian 操作不会导致 Spark 中的洗牌时，这对我来说没有意义，因为它们需要跨网络移动分区以便在本地将它们放在一起。

Spark 实际上是如何在幕后执行其笛卡尔 和distinct 操作的？

Answer 1

Shuffle 是一种特定于键值对 RDD 的操作(RDD[(T, U)] 通常被描述为 PairRDDs 或 PairwiseRDDs) 并且或多或少等同于 Hadoop 中的洗牌阶段。 shuffle 的目标是根据键值和 Partitioner 将数据移动到特定的执行器。 .

Spark 中有不同类型的操作，需要网络流量，但不要使用与 shuffle 相同类型的逻辑，并不总是需要键值对。笛卡尔积是这些操作之一。它在机器之间移动数据(实际上它会导致更昂贵的数据移动)但不会在 key 和执行程序之间建立关系。