apache-spark - 部署模式在 "SPARK-SUBMIT"

Question

在 SPARK-SUBMIT 中，“yarn”、“yarn-cluster”、“yarn-client”部署模式有什么区别？

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster \  # can also be `yarn-client` for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

https://spark.apache.org/docs/1.1.0/submitting-applications.html

Answer 1

对于 YARN 上的 Spark，您可以指定 yarn-client 或 yarn-cluster。 Yarn-client 在与 spark submit 相同的 JVM 中运行驱动程序，而 yarn-cluster 在 NodeManager 的容器之一中运行 Spark 驱动程序。

从文档:
https://spark.apache.org/docs/1.1.0/running-on-yarn.html
有两种部署模式可用于在 YARN 上启动 Spark 应用程序。在 yarn-cluster 模式下，Spark 驱动程序运行在由集群上的 YARN 管理的应用程序主进程中，客户端可以在启动应用程序后离开。在yarn-client模式下，driver运行在client进程中，application master只用于向YARN请求资源。