cluster-computing - Spark : Run Spark shell from a different directory than where Spark is installed on slaves and master

Question

我有一个小集群(4 台机器)，设置了 3 个从节点和一个主节点，全部安装到 /home/spark/spark . (即， $SPARK_HOME 是 /home/spark/spark )

当我使用 Spark shell 时:/home/spark/spark/bin/pyspark --master spark://192.168.0.11:7077一切正常。但是，我希望我的同事能够从安装在他们希望的任何目录中的机器上的本地 spark 实例连接到集群。

目前，如果有人在说 /home/user12/spark 中安装了 Spark 并运行 /home/user12/spark/bin/pyspark --master spark://192.168.0.11:7077 spark shell 将毫无问题地连接到 master，但在我尝试运行代码时失败并显示错误:

    class java.io.IOException: Cannot run program 
    "/home/user12/bin/compute-classpath.sh"
    (in directory "."): error=2, No such file or directory)

这里的问题是 Spark 正在寻找 中的 spark 安装。/home/user12/spark/ ，我只想告诉 spark 查看 /home/spark/spark/反而。

我该怎么做呢？

Answer 1

您需要编辑三个文件，spark-submit , spark-class和 pyspark (都在 bin 文件夹中)。

找到线

export SPARK_HOME = [...]

然后将其更改为

SPARK_HOME = [...]

最后确保你设置了 SPARK_HOME到集群上安装spark的目录。

这对我有用。

在这里你可以找到详细的解释。

http://apache-spark-user-list.1001560.n3.nabble.com/executor-failed-cannot-find-compute-classpath-sh-td859.html