scala - 将函数传递给 Spark : What is the risk of referencing the whole object?

Question

根据 Passing Functions to Spark ，它声称:
accessing fields of the outer object will reference the whole object; To avoid this issue ...
我正在考虑流动代码的风险是什么:

class MyClass {
  val field = "Hello"
  def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x => field + x) }
}

引用所有这些 会不会有什么害处？

Answer 1

这将导致 Spark 序列化您的整个对象并将其发送给每个执行程序。如果对象的某些字段包含大量数据，则它可能会很慢。也可能导致 task not serializable如果您的对象不可序列化，则异常

这是一个有这个问题的人的例子:Task not serializable: java.io.NotSerializableException when calling function outside closure only on classes not objects