scala - Apache Spark 和远程方法调用

Question

我想了解 Apache Spark 在幕后是如何工作的。在 Spark 中编写了一些代码之后，我非常确定它将 RDD 实现为 RMI Remote objects，不是吗？

通过这种方式，它可以在转换中修改它们，例如map、flatMap等。不属于 RDD 的对象在执行期间被简单地序列化并发送给工作人员。

在下面的示例中，lines 和tokens 将被视为远程对象，而字符串toFind将被简单地序列化并复制给 worker 。

val lines: RDD[String] = sc.textFile("large_file.txt")
val toFind = "Some cool string"
val tokens = 
  lines.flatMap(_ split " ")
       .filter(_.contains(toFind))

我错了吗？我在谷歌上搜索了一下，但没有找到任何关于如何在内部实现 Spark RDD 的引用资料。

Answer 1

你是对的。 Spark 序列化闭包以执行远程方法调用。