hadoop - Spark 提交到Docker容器

Question

我使用此repository和相对的README.md文件制作了一个Spark Cluster。

现在，我尝试通过spark-submit将作业执行到Spark Master的docker容器，因此我使用的命令类似:

/path/bin/spark-submit --class uk.ac.ncl.NGS_SparkGATK.Pipeline \
--master spark://spark-master:7077 NGS-SparkGATK.jar HelloWorld

现在的问题是我收到了 Failed to connect to master spark-master:7077
我尝试了任何组合:容器IP，容器ID，容器名称，本地主机，0.0.0.0、127.0.0.1，但我总是收到相同的错误。

如果我使用 --master local[*]，则该应用程序可以正常工作。

我缺少什么？

Answer 1

问题是将主机名用于spark:// spark-master:7077

所以在Spark Master中是这样的:

SPARK_MASTER_HOST=`hostname`

/path/bin/spark-submit --class uk.ac.ncl.NGS_SparkGATK.Pipeline \
--master spark://$SPARK_MASTER_HOST:7077 NGS-SparkGATK.jar HelloWorld