apache-spark - 什么是广播变量？他们解决什么问题？

Question

我正在阅读 Spark 编程指南，内容如下:

Broadcast variables allow the programmer to keep a read-only variable cached on each machine rather than shipping a copy of it with tasks.

考虑到上述情况，广播变量的用例有哪些？广播变量解决什么问题？

当我们创建像下面这样的广播变量时​​，变量引用，这里的broadcastVar在集群中的所有节点中都可用？

val broadcastVar = sc.broadcast(Array(1, 2, 3))

这些变量在节点内存中可用多久？

Answer 1

如果您有一个从 Spark Closures 访问的巨大数组，例如一些引用数据，则该数组将通过闭包传送到每个 Spark 节点。例如，如果您有 10 个节点的集群，有 100 个分区(每个节点 10 个分区)，则该阵列将至少分发 100 次(每个节点 10 次)。

如果您使用广播，它将使用高效的 p​​2p 协议(protocol)在每个节点分发一次。

val array: Array[Int] = ??? // some huge array
val broadcasted = sc.broadcast(array)

还有一些 RDD

val rdd: RDD[Int] = ???

在这种情况下，数组每次都会在关闭时发送

rdd.map(i => array.contains(i))

通过广播，您将获得巨大的性能优势

rdd.map(i => broadcasted.value.contains(i))