ubuntu - pyspark 找不到有效的 SPARK_HOME

Question

在尝试设置和运行 pyspark 时，我收到以下错误:

tom@tom-OptiPlex-3060:~$ pyspark
Could not find valid SPARK_HOME while searching ['/home', '/home/tom/.local/bin']
/home/tom/.local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/home/tom/.local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory

但是如果我进入目录 /usr/lib/spark/bin - pyspark作品

我在这里想念什么？

export JAVA_HOME=/usr/lib/jvm/java-8-oracle  
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar  
export SPARK_HOME=/usr/lib/spark
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
export PYSPARK_PYTHON=python2.7
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH

Answer 1

当我将我的 python 代码组织成包/模块以及从一个包到另一个包的一些导入时，我遇到了这个错误。

如果我有没有任何包的简单脚本 SPARK_HOME在 os.environ等于/usr/hdp/current/spark2-client (您的值(value)可能不同，只需 print(os.environ['SPARK_HOME'] 即可知道)。

在失败的有问题的函数/包中简单地设置这个变量并没有帮助:

import os
os.environ['SPARK_HOME'] = '/usr/hdp/current/spark2-client'

在我的情况下，我通过将此参数传递给 spark-submit 来解决它。 :

--conf spark.yarn.appMasterEnv.SPARK_HOME=/usr/hdp/current/spark2-client

(可以提供帮助的其他信息:我使用 yarn 作为主人)