apache-spark - 设置 PYSPARK_SUBMIT_ARGS 会导致创建 SparkContext 失败

Question

关于我的问题的一些背景故事:我一直在从事一个 spark 项目，最近将我的操作系统切换到 Debian 9。切换后，我重新安装了 spark 版本 2.2.0 并开始获取运行 pytest 时出现以下错误:

E               Exception: Java gateway process exited before sending the driver its port number

在谷歌搜索了一会儿之后，人们似乎在两种情况下看到了这个神秘的错误:1) 当试图将 spark 与 java 9 一起使用时； 2) 当设置环境变量 PYSPARK_SUBMIT_ARGS 时。

看起来我处于第二种情况，因为我使用的是 java 1.8。我写了一个最小的例子

from pyspark import SparkContext                                                                                                                                 
import os

def test_whatever():
    os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages graphframes:graphframes:0.5.0-spark2.1-s_2.11,com.databricks:spark-avro_2.11:3.2.0 pyspark-shell'
    sc = SparkContext.getOrCreate()

它因上述错误而失败，但当第四行被注释掉时，测试正常(我用 pytest file_name.py 调用它)。删除这个 env 变量是——至少我认为不是——这个问题的解决方案，因为它提供了一些重要信息 SparkContext。我找不到这方面的任何文档，完全迷路了。

如果有任何提示，我将不胜感激

Answer 1

将它放在我的 jupyter notebook 的顶部对我有用:

import os
os.environ['JAVA_HOME'] = '/usr/lib/jvm/java-8-openjdk-amd64/'