python - Apache Spark ， "failed to create any local dir"

Question

我正在尝试在小型独立集群(1 个主节点和 8 个从节点)上设置 Apache-Spark。我已经安装了构建在 Hadoop 2.4 之上的 spark 1.1.0 的“预构建”版本。我已经在节点之间设置了无密码 ssh 并导出了一些必要的环境变量。这些变量之一(可能最相关)是:

export SPARK_LOCAL_DIRS=/scratch/spark/

我有一小段 python 代码，我知道它可以与 Spark 一起使用。我可以在本地运行它——在我的桌面上，而不是在集群上——使用:

$SPARK_HOME/bin/spark-submit ~/My_code.py

我将代码复制到集群中。然后，我从头节点开始所有进程:

$SPARK_HOME/sbin/start-all

并且每个从属都被列为正在运行的进程 xxxxx。

如果我随后尝试使用上面的相同命令运行我的代码:

$SPARK_HOME/bin/spark-submit ~/MY_code.py

我收到以下错误:

14/10/27 14:19:02 ERROR util.Utils: Failed to create local root dir in /scratch/spark/.  Ignoring this directory.
14/10/27 14:19:02 ERROR storage.DiskBlockManager: Failed to create any local dir.

我在 777 处设置了 /scratch 和 /scratch/spark 的权限。非常感谢任何帮助。

Answer 1

问题是我没有意识到主节点也需要一个临时目录。在我的 8 个工作节点中的每一个中，我都创建了本地/scratch/spark 目录，但忽略了在主节点上这样做。添加目录解决了问题。