python - pyspark:找不到有效的 SPARK_HOME

Question

通过 pip install pyspark 全新安装 pyspark 后，出现以下错误:

> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory
/usr/local/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory
> spark-shell
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

什么是有效的 SPARK_HOME，如何设置它，为什么没有默认值？

我已经看到关于如何在手动安装 spark 后手动设置环境变量的说明，但我想知道在使用 pip 安装 pyspark 后如何在这种情况下设置它。

我只通过 brew install apache-spark 安装了 spark，并且安装后的 spark-shell 开箱即用。之后安装 pyspark 后，我收到上面的消息。令人困惑。

Answer 1

> brew install apache-spark

实际上已经提供了一个可用的 pyspark shell。没有必要另外

> pip install pyspark

事实上，这会破坏我的安装。