spark-streaming - 在 spark-submit 时识别 live spark master

Question

我有 5 个节点的 Spark 集群，其中 2 个节点正在运行主节点。在 HA(by Zookeeper) 场景中，任何人都将被选为 master。

at the time of submitting application using command

/bin/spark-submit  --class SparkAggregator.java --deploy-mode cluster --supervise --master spark://host1:7077

getting error 
Can only accept driver submissions in ALIVE state. Current state: STANDBY.

spark-submit doe not allow multiple master name in --master.

Question:
How to identify the elected master at the time of spark-submit.

Thanks
Pankaj

Answer 1

master 选项可以使用多个 spark master，因此如果您有多个，请在它们之间用逗号列出它们。例如

/bin/spark-submit --class SparkAggregator.java --deploy-mode cluster --supervise --master spark://host1:7077,host2:7077,host3:7077

如果将尝试连接到所有主机，则使用第一个响应的主机，这允许您在集群中使用多个主机，其中只有一个处于事件状态，其余处于备用状态。