python - Apache spark 是如何处理 python 多线程问题的？

Question

根据 python's GIL我们不能在 CPU 绑定(bind)进程中使用线程，所以我的问题是 Apache Spark 如何在多核环境中使用 python？

Answer 1

多线程 python 问题与 Apache Spark 内部结构分开。 Spark 上的并行性在 JVM 内部处理。

原因是在 Python 驱动程序中，SparkContext 使用 Py4J 启动 JVM 并创建 JavaSparkContext。

Py4J 仅在驱动程序上用于 Python 和 Java SparkContext 对象之间的本地通信；大数据传输通过不同的机制执行。

Python 中的 RDD 转换映射到 Java 中 PythonRDD 对象的转换。在远程 worker 机器上，PythonRDD 对象启动 Python 子进程并使用管道与它们通信，发送用户代码和要处理的数据。

PS:我不确定这是否真的完全回答了你的问题。