apache-spark - yarn 客户端上的 Spark 执行器不采用执行器核心计数配置。

Question

无论 Spark 执行器芯数如何，执行器的 yarn 容器都不会使用超过 1 个芯。

Answer 1

无论 spark.executor.cores，YARN 都显示每个执行程序有 1 个核心因为默认情况下 DefaultResourceCalculator用来。它只考虑内存。

public int computeAvailableContainers(Resource available, Resource required) {
// Only consider memory
return available.getMemory() / required.getMemory();
  }

使用 DominantResourceCalculator，它同时使用 CPU 和内存。

在 capacity-scheduler.xml 中设置以下配置

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

更多关于 DominantResourceCalculator