linux - Spark配置，SPARK_DRIVER_MEMORY、SPARK_EXECUTOR_MEMORY、SPARK_WORKER_MEMORY有什么区别？

Question

我完成了工作，阅读了 https://spark.apache.org/docs/latest/configuration.html 上的文档

in spark-folder/conf/spark-env.sh:

• SPARK_DRIVER_MEMORY，Master 内存(例如 1000M、2G)(默认:512 Mb)
• SPARK_EXECUTOR_MEMORY，每个 Worker 的内存(例如 1000M、2G)(默认值:1G)
• SPARK_WORKER_MEMORY，设置 worker 必须给执行者的总内存量(例如 1000m、2g)

以上3个参数是什么关系？

据我了解，DRIVER_MEMORY 是主节点/进程可以请求的最大内存。但是对于驱动程序，多机情况如何，例如。 1 master 机器和 2 worker 机器，worker 机器也应该有一些内存可供 spark driver 使用？

EXECUTOR_MEMORY 和 WORKER_MEMORY 对我来说是一样的，只是名称不同，请问这也能解释一下吗？

非常感谢。

Answer 1

首先，您应该知道 1 个Worker(可以说是 1 台机器或 1 个 Worker 节点)可以启动多个 Executors(或多个 Worker Instances - 他们在文档中使用的术语。

• SPARK_WORKER_MEMORY 仅用于独立部署模式
• SPARK_EXECUTOR_MEMORY用于YARN部署模式

在独立模式下，您将 SPARK_WORKER_MEMORY 设置为可以在一台机器(这台机器上的所有执行程序)上使用的内存总量来运行您的 spark 应用程序。

相比之下，在 YARN 模式下，您将 SPARK_DRIVER_MEMORY 设置为 one Executor

的内存

• SPARK_DRIVER_MEMORY 在 YARN 部署模式下使用，为运行您的应用程序并与集群管理器通信的驱动程序指定内存。