jvm - Python 如何与 Spark 中的 JVM 交互

Question

我正在编写 Python 代码来开发一些 Spark 应用程序。我真的很好奇 Python 如何与运行中的 JVM 交互并开始阅读 Spark 的源代码。

我可以看到，最终，所有 Spark 转换/操作都以以下方式调用了某些 jvm 方法。

self._jvm.java.util.ArrayList(),
self._jvm.PythonAccumulatorParam(host, port))
self._jvm.org.apache.spark.util.Utils.getLocalDir(self._jsc.sc().conf())
self._jvm.org.apache.spark.util.Utils.createTempDir(local_dir, "pyspark") \
            .getAbsolutePath()
...

作为一名 Python 程序员，我真的很好奇这个 _jvm 是怎么回事目的。但是，我已经简要阅读了 pyspark 下的所有源代码只找到 _jvm成为 Context 的属性课，除此之外，我什么都不知道 _jvm's属性和方法。

谁能帮我理解 pyspark 如何转化为 JVM 操作？我应该阅读一些 scala 代码，看看是否 _jvm在那里定义？

Answer 1

它使用 py4j .有一个特殊的协议(protocol)可以将 python 调用转换为 JVM 调用。所有这些都可以在 Pyspark 代码中找到，请参阅 java_gateway.py