apache-spark - Pyspark (SparkContext) : java gateway process exited before sending the driver its port number

Question

这个问题在这里已经有了答案:





Configuring Spark to work with Jupyter Notebook and Anaconda

(3 个回答)


3年前关闭。




我已经为这个问题苦苦挣扎了四天，我查看了几个处理相同问题的网页，甚至在 Stackoverflow 中也没有找到解决方案。

我安装了 Spark-2.3.0 ，Scala 2.12.5 和 Hadoop-2.7.1(对于 winutils master)，然后设置了相应的环境变量。我安装了 findspark，然后在我的 Jupyter Notebook 中启动了 pyspark。问题是当我运行时:

sc = pyspark.SparkContext('local')

我收到以下错误:

java gateway process exited before sending the driver its port number

我应该提到我使用的是 Java-1.8.0 并在我的环境变量中设置:

 PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

如果您对我如何解决此问题有任何想法，我将不胜感激。谢谢!

Answer 1

设置相当简单明了。以下是您可以遵循的步骤。

假定:

您已下载 Spark 并将其存档解压缩到 <spark_home> ，添加了 <spark_home>/bin目录到 PATH变量

你已经安装了 Jupyter，它可以用 jupyter notebook 启动从命令行

应遵循的步骤:

导出这两个变量。这最好在您的用户配置文件脚本中完成

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

要打开 jupyter，你所要做的就是调用

pyspark

如果您有其他选项，例如 master，您可以将它们传递给 pyspark :

pyspark --master local[2]

当笔记本打开时， spark上下文已经初始化 (如 sc )和 Spark session (如 spark )，您应该能够看到如下内容: