apache-spark - 独立集群模式下具有Apache Spark的Docker容器

Question

我正在尝试构建包含Apache Spark的Docker镜像。 IT建立在openjdk-8-jre官方镜像的基础上。

目标是在集群模式下执行Spark，因此至少有一个主服务器(通过sbin/start-master.sh启动)和一个或多个从属服务器(sbin/start-slave.sh)。有关我的Dockerfile和入口点脚本，请参见spark-standalone-docker。

构建本身实际上会经历，问题是当我想运行容器时，它会在之后不久启动和停止。原因是Spark主服务器启动脚本以守护程序模式启动主服务器并退出。这样容器就终止了，因为前台不再运行任何进程。

显而易见的解决方案是在前台运行Spark master进程，但是我不知道怎么做(Google也没有打开任何东西)。我的“解决方法”是在Spark日志目录上运行tails -f。

因此，我的问题是:

如何在前台运行Apache Spark Master？

如果第一个不可能/不可行/不可行，那么使容器保持“事件状态”的首选(即最佳实践)解决方案是什么(我真的不想使用无限循环和sleep命令)？

Answer 1

How can you run Apache Spark Master in foreground?

您可以将 spark-class与 Master一起使用。

bin/spark-class org.apache.spark.deploy.master.Master

对于 worker 来说也是一样:

bin/spark-class org.apache.spark.deploy.worker.Worker $MASTER_URL

如果您正在寻找生产就绪的解决方案，则应考虑使用适当的主管，例如 dumb-init 或 tini 。