apache-spark - Apache Spark : setting executor instances

Question

我使用参数在 YARN 上运行我的 Spark 应用程序:

在 spark-defaults.conf 中:

spark.master yarn-client
spark.driver.cores 1
spark.driver.memory 1g
spark.executor.instances 6
spark.executor.memory 1g

在 yarn-site.xml 中:

yarn.nodemanager.resource.memory-mb 10240

所有其他参数都设置为默认值。

我有一个 6 节点集群，每个节点上都安装了 Spark 客户端组件。
每次运行应用程序时，Spark UI 中只有 2 个执行程序和 1 个驱动程序可见。 Executors 出现在不同的节点上。

为什么 Spark 不能创建更多的 executor？为什么只有 2 而不是 6？

我发现了一个非常相似的问题: Apache Spark: setting executor instances does not change the executors ，但增加 memoty-mb 参数对我来说没有帮助。

Answer 1

乍一看，配置看起来不错。

确保您已经覆盖了正确的 spark-defaults.conf 文件。

执行 echo $SPARK_HOME对于当前用户并验证修改后的 spark-defaults 文件是否在 $SPARK_HOME/conf/目录中。否则 Spark 无法看到您的更改。

我修改了错误的 spark-defaults.conf 文件。我的系统中有两个用户，每个用户都有不同的 $SPARK_HOME 目录集(我以前不知道)。这就是为什么我看不到我的设置对其中一个用户产生任何影响的原因。

您可以使用参数运行 spark-shell 或 spark-submit --num-executors 6 (如果你想有 6 个执行者)。如果 Spark 创建了比以前更多的执行程序，您可以肯定，这不是内存问题，而是配置不可读的问题。