scala - 如何从Spark中的堆中删除/处理广播变量？

Question

要广播变量，以使变量在集群中每个节点的内存中恰好出现一次，可以这样做:val myVarBroadcasted = sc.broadcast(myVar)然后在RDD转换中检索它，如下所示:

myRdd.map(blar => {
  val myVarRetrieved = myVarBroadcasted.value
  // some code that uses it
}
.someAction

但是现在假设我希望对新的广播变量执行更多操作-如果由于旧的广播变量而没有足够的堆空间怎么办？我想要一个像

myVarBroadcasted.remove()

现在，我似乎找不到解决方法。

另外，还有一个非常相关的问题:广播变量在哪里？它们是进入总内存的高速缓存部分，还是仅进入堆部分？

Answer 1

如果要同时从执行程序和驱动程序中删除广播变量，则必须使用destroy，使用unpersist仅将其从执行程序中删除:

myVarBroadcasted.destroy()

此方法被阻止。我喜欢意大利面!