apache-spark - 通过 Mesos 启动 Spark

Question

我正在尝试通过 Mesos 集群启动 Spark，我已经通过 Mesos Master 成功运行了 Spark Dispatcher 并注册了 Spark 框架。但是，当我尝试开始任何工作(spark-submit 或 spark-shell)时，初始化停止并且什么也没有发生。

I0708 16:30:43.319941 21373 sched.cpp:157] Version: 0.22.1
I0708 16:30:43.331514 21375 sched.cpp:254] New master detected at master@host
I0708 16:30:43.333658 21375 sched.cpp:264] No credentials provided. Attempting to register without authentication

在那个客户端卡住之后

Answer 1

我用 solution propose by @besil 解决了同样的问题:

第 1 步: 使用以下方式启动调度程序:

--master mesos://zk://<master_host>:2181/mesos

第 2 步:提交申请:

spark-submit --deploy-mode cluster <other options> --master mesos://<dispatcher_ip>:7077 --class <class_name> <jar>

希望对你有帮助