ubuntu - 路径问题 : Could not find valid SPARK_HOME while searching

Question

我将我的 PATH 更新为如下所示:

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

我认为它起作用了，因为我设法从不同的文件夹调用 spark-shell(尽管我想知道我是不是疯了，它真的来自 bin 文件夹)。但是，在重新启动 Ubuntu 后，它似乎不再起作用。为什么？

Could not find valid SPARK_HOME while searching ['/home/username', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

Answer 1

设置

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

可以运行可执行脚本，如 spark-shell、spark-submit、pyspark 等，无需提供完整路径脚本。

除了设置PATH，你还需要设置

SPARK_HOME=/home/username/Installs/Spark

在启动 spark 集群 或使用 spark-submit 时内部使用。

如果您在.bashrc 文件中设置变量，您还需要export 关键字作为

export SPARK_HOME=/home/username/Installs/Spark

如果你不想重启 Ubuntu 来测试它是否有效，请输入

. ~/.profile

进入命令行，然后尝试您的 spark 命令。