docker - Spark Standalone + Zeppelin + Docker:如何设置SPARK_HOME

Question

我使用this脚本构建了Spark独立集群。

然后，我想使用另一个容器中的Zeppelin将作业提交到该群集。

问题是，当我尝试从Zeppelin运行任何内容时，都会出现异常:
java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-setting for non-local mode, if you specify it in zeppelin-env.sh, please move that into interpreter setting
如何在Zeppelin容器中设置SPARK_HOME变量？

问题是Spark在另一个容器中，我想知道我是否在做正确的事情？

Answer 1

构建镜像或使用官方的齐柏林飞艇是相同的，因此我只使用官方的dockerhub镜像来解释示例:

$ docker run --rm  apache/zeppelin:0.8.1 cat /zeppelin/conf/zeppelin-env.sh.template | grep SPARK_HOME
## defining SPARK_HOME makes Zeppelin run spark interpreter process using spark-submit
# export SPARK_HOME                             # (required) When it is defined, load it instead of Zeppelin embedded Spark libraries
## without SPARK_HOME defined, Zeppelin still able to run spark interpreter process using embedded spark binaries.
## however, it is not encouraged when you can define SPARK_HOME

从上面可以看到，在此配置文件中，可以设置 SPARK_HOME，现在唯一需要做的就是编写自己的配置文件，如下所示:

zeppelin-env.sh:

#!/bin/bash
export SPARK_HOME=xxxxxx

然后，在运行时将其安装到容器，就像启动容器一样，您可以根据引用的文档添加其他参数:

docker run -idt -v $(pwd)/zeppelin-env.sh:/zeppelin/conf/zeppelin-env.sh apache/zeppelin:0.8.1

另外，我注意到您引用的文档中也告诉您执行此操作，请参见 here