linux - Apache Spark 使用 Homebrew 软件从 1.5.2 升级到 1.6.0 导致执行期间出现权限被拒绝错误

Question

我刚刚使用 Homebrew 将 Spark 从 1.5.2 升级到 1.6.0，并将我的 SPARK_HOME 环境变量重置为 /usr/local/Cellar/apache-spark/1.6.0。现在在执行 pyspark 时，它给出了权限被拒绝的错误。

如果我进入早期的 1.5.2 安装目录并从那里执行 pyspark，它运行良好。但是从 1.6.0 安装目录运行 pyspark 失败并出现此权限被拒绝的错误。

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh:第 2 行:/usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: 权限被拒绝

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh:第 2 行:exec:/usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh:无法执行:未定义错误:0

这可能是什么原因造成的？

Answer 1

我遇到了同样的问题，最简单的解决方法是设置 $SPARK_HOME至 /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/相反。

您也可以直接从源代码构建，您可以找到说明 here .

基本上就是这样

git clone https://github.com/apache/spark/`
cd spark
git checkout origin/branch-X.Y

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

您需要设置 $SPARK_HOME到spark源代码的顶级目录。