apache-spark - Spark 配置: memory/instance/cores

Question

最近我发现自己对不同的 SPARK 设置 spark.executor.memory、SPARK_WORKER_MEMORY、SPARK_MEM、 感到有点困惑SPARK_MASTER_MEMORY，以及与 SPARK_WORKER_INSTANCES 和 SPARK_WORKER_CORES

的关系

我找到了这篇文章，但它没有讨论 SPARK_MASTER_MEMORY Spark Configuration: SPARK_MEM vs. SPARK_WORKER_MEMORY

Answer 1

首先，简单介绍一下术语。Spark master 是协调 Slave 资源分配的应用程序。 Master不执行任何计算。 Master只是资源管理器。

Spark Worker 是工作节点上的应用程序，用于协调给定工作节点上的资源。

Spark executor 是由 Spark Worker 创建的应用程序，它在驱动程序的工作节点上执行任务。

查看此文档以获取更多详细信息 - http://spark.apache.org/docs/latest/cluster-overview.html

spark.executor.memory - 是执行器的内存量。该内存用于给定的用户任务。

SPARK_WORKER_MEMORY - 工作线程可以使用多少系统内存在节点上创建执行程序。例如，您的节点上有 64GB。您将 SPARK_WORKER_MEMORY 设置为 60GB。这意味着您可以创建 2 x 30g 执行程序或 10 x 6gb 执行程序等。

SPARK_MEM AFAIK 不再使用。我在当前文档中找不到它

SPARK_MASTER_MEMORY是master的内存。不应该太高:)

SPARK_WORKER_CORES 是每个工作线程的执行程序要使用的核心总数

SPARK_WORKER_INSTANCES 是每个工作节点的工作人员数量。

所有这些参数均在此处描述 - http://spark.apache.org/docs/latest/spark-standalone.html