python - 在 MacBook 上安装 pyspark

Question

我在 Scala 中使用 Spark 已经很长时间了。现在我是第一次使用 pyspark。这是在 Mac 上

1. 首先我使用 conda install pyspark 安装了 pyspark，它安装了 pyspark 2.2.0
2. 我使用 brew install apache-spark 安装了 spark 本身，它似乎已经安装了 apache-spark 2.2.0

但是当我运行 pyspark 时，它转储了

/Users/me/anaconda/bin/pyspark: line 24: /Users/bruceho/spark-1.6/spark-1.6.2-bin-hadoop2.6/bin/load-spark-env.sh: No such file or directory
/Users/me/anaconda/bin/pyspark: line 77: /Users/bruceho/spark-1.6/spark-1.6.2-bin-hadoop2.6/bin/spark-submit: No such file or directory
/Users/me/anaconda/bin/pyspark: line 77: exec: /Users/bruceho/spark-1.6/spark-1.6.2-bin-hadoop2.6/bin/spark-submit: cannot execute: No such file

为什么指向1.6.2安装，好像已经没有了？ Brew 搜索 apache-spark 确实表明两者都存在 1.5。和 1.6。 pyspark 2.2.0 不应该自动指向 apache-spark 2.2.0 安装吗？

Answer 1

你的问题有很多问题:

首先，PySpark 不是一个附加包，而是 Spark 本身的一个重要组件；换句话说，在安装 Spark 时，默认情况下您还会获得 PySpark(即使您愿意，也无法避免)。因此，第 2 步应该足够了(甚至在此之前，PySpark 应该在您的机器中可用，因为您已经在使用 Spark)。

第 1 步是不必要的:PyPi 中的 Pyspark(即使用 pip 或 conda 安装)不包含完整的 Pyspark 功能；它仅适用于现有集群中的 Spark 安装。来自docs :

The Python packaging for Spark is not intended to replace all of the other use cases. This Python packaged version of Spark is suitable for interacting with an existing cluster (be it Spark standalone, YARN, or Mesos) - but does not contain the tools required to setup your own standalone Spark cluster. You can download the full version of Spark from the Apache Spark downloads page.

NOTE: If you are using this with a Spark standalone cluster you must ensure that the version (including minor version) matches or you may experience odd errors

根据您所说的您已经在使用 Spark(通过 Scala)这一事实，您的问题似乎与升级有关。现在，如果您使用预构建的 Spark 发行版，您实际上无需安装任何东西 - 您只需下载、解压缩并设置相关的环境变量(SPARK_HOME 等)- 请参阅我在 "upgrading" Spark 上的回答。 ，这实际上也适用于首次“安装”。