pyspark - 在 Zeppelin Interpreter 中设置特定的 Python

Question

除了设置“zeppelin.pyspark.python”以使 Zeppelin 解释器成为特定的 Python 可执行文件之外，我还需要做什么？

背景 :

我正在使用连接到 Spark+Mesos 集群的 Apache Zeppelin。集群工作了好几年。 Zeppelin 是新的，总体上运行良好。

但是我无法在 pyspark 中应用于 RDD 的函数中导入 numpy。当我使用 Python 子进程定位 Python 可执行文件时，它表明代码正在系统的 Python 中运行，而不是在它需要的 virutalenv 中运行。

所以我在这个问题上看到了一些问题，说解决方法是将“zeppelin.pyspark.python”设置为指向正确的python。我已经这样做了并重新启动了解释器几次。但它仍然使用系统Python。

我还需要做些什么吗？这是使用 Zeppelin 0.7。

Answer 1

在我在 EMR 集群上使用的旧版 Zeppelin 自定义快照构建中，我设置了以下两个属性以使用特定的 virtualenv:

"zeppelin.pyspark.python": "/path/to/bin/python",
"spark.executorEnv.PYSPARK_PYTHON": "/path/to/bin/python"