python - 使用 pyspark 时权限被拒绝

Question

当我尝试运行 pyspark 程序时出现以下错误:

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2:   
/usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied
/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: 
exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

我试过:

unset SPARK_HOME && spark-submit

但是我得到了一个不同的错误:

KeyError: 'SPARK_HOME

知道如何解决这个问题吗？我在 OSX 10.11 上运行 python 2.7

Answer 1

检查权限:

/usr/local/Cellar/apache-spark/2.0.2/libexec/bin/load-spark-env.sh

我遇到了类似的问题，该文件被标记为对我(我的用户 ID)为“只读”并且只有 root 有执行权限。

请注意，当您调用 pyspark 时，它会重定向到上述 shell 脚本。因此您可以触发该过程，但由于实际的 shell 脚本没有您的“x”权限 - 它会失败。

或者，sudo -H pyspark 也可以达到目的。

快乐的 Spark !