apache-spark - Apache Spark:MesosClusterDispatcher可以在Docker容器中运行执行程序吗？

Question

我正在构建一个Mesos集群以运行Apache Spark。我希望对我的Spark执行器使用Docker容器，我可以使用spark-submit的客户端模式(使用--master mesos://mesosmaster:5050和--conf spark.mesos.executor.docker.image=myimage:latest)来做到这一点，但是我希望能够在集群模式下做到这一点。

我正在运行MesosClusterDispatcher并向其提交作业(使用--master mesos://clusterdispatcher:7077 --mode cluster --supervised)，但是当我指定docker镜像供执行者使用时，似乎调度程序正在忽略该参数，并尝试直接在Mesos沙箱中运行作业。

实际上可以将集群调度程序与spark.mesos.executor.docker.image结合使用吗？我希望尽可能地将Spark与Mesos分离，以便它们可以独立升级，但是很显然，如果集群调度程序不能使用docker镜像，我将不得不重新考虑我的策略。

谢谢!

Answer 1

看一下这个
https://github.com/wangqiang8511/docker-spark-mesos

尽管我在较大的集群上部署时遇到了问题，但它似乎应该可以工作。