apache-spark - spark-submit.sh 如何与不同的模式和不同的集群管理器一起工作？

Question

在 Apache Spark 中，spark-submit.sh 如何与不同的模式和不同的集群管理器一起工作？具体来说:

在本地部署模式下，

• spark-submit.sh 是否跳过调用任何集群管理器？
• 不需要在本地机器上安装集群管理器是否正确？

在客户端或集群部署模式下，

• spark-submit.sh 是否适用于不同的集群管理器(Spark standalone、YARN、Mesos、Kubernetes)？是否不同的集群管理器有不同的接口(interface)，spark-submit.sh 必须以不同的方式调用它们？

• 除了--master 之外，spark-submit.sh 对程序员来说是否是相同的界面？ spark-submit.sh 的选项--master 用于指定集群管理器。

谢谢。

Answer 1

为了清楚起见，在任何模式(client 或 cluster 或是否在 local 模式)。集群管理器只是为了使资源分配更容易和独立，但使用与否始终由您选择。

spark-submit 命令不需要集群管理器就可以运行。

您可以使用该命令的不同方式是:

1) 本地模式:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

2) client 模式没有资源管理器(也称为 spark standalone mode ):

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

3) cluster 模式与 spark standalone 模式:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

4) 带有资源管理器的客户端/集群模式:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

正如您在上面看到的，无论是否有集群管理器，spark-submit.sh 都会以相同的方式运行。此外，如果您想使用像 yarn、mesos 这样的资源管理器，spark-submit 的行为将保持不变。您可以阅读有关 spark-submit 的更多信息 here .