apache-spark - Spark 广播连接将数据加载到驱动程序

Question

据我所知，当Spark执行广播连接时，它首先将最小的(广播)RDD收集到驱动程序以从中创建广播变量，然后才将其上传到每个目标节点。

如果广播 RDD > Spark.driver.memory，有时会导致驱动程序内存流出。

问题:为什么它会这样工作？仅在目标节点之间混洗广播数据会更有效，因为混洗的数据量是相同的，但我们可以避免驱动程序溢出。

示例:假设您有 3 个节点，每个节点上要广播 1 GB 的数据，并且每个节点的吞吐量为 1 GB/s。

Spark 方法 - 每个节点必须向驱动程序上传其数据片段 (1gb) 并下载广播变量 (3 * 1g = 3gb)，因此每个节点总共应传输 4 GB，需要 4 秒。

随机播放方法 - 一个节点必须将 1GB 上传到另外 2 个节点并下载1GB 来自这些。同样，总量为 4 GB，需要 4 秒。

Answer 1

首先广播连接用于连接一个大表和一个极小的表。

然后如果使用shuffle而不是把小df(table)收集回driver然后广播，你只会注意到小df被洗牌了，但实际上大df也同时被洗牌了，这是相当时间的消耗。