linux - Spark-submit 在错误的目录中查找

Question

我刚刚在全新的 Linux Mint 安装上安装了 Anaconda、Apache Spark、Pyspark、Scala(所有最新版本)。

为了测试安装，我尝试运行 spark-submit在终端中，但出现以下错误:

File "/home/jessica/anaconda/bin/find_spark_home.py", line 74, in <module>
    print(_find_spark_home())
  File "/home/jessica/anaconda/bin/find_spark_home.py", line 56, in _find_spark_home
    module_home = os.path.dirname(find_spec("pyspark").origin)
AttributeError: 'NoneType' object has no attribute 'origin'
/home/jessica/anaconda/bin/spark-submit: line 27: /bin/spark-class: No such file or directory

我看到该命令正在查找 /bin/而不是(正确)/usr/local/spark/bin .

我的$PATH变量包含以下内容: /usr/local/spark/bin:/home/jessica/anaconda/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin::/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games

我还有一个名为 $SPARK_HOME 的环境变量其中包含 /usr/local/spark/ .

如何告诉我的系统在正确的目录中查找？

Answer 1

要修复此错误，我必须在 /etc/environment 中手动设置 JAVA_HOME 变量