containers - "yarn.scheduler.minimum-allocation-vcores"和 yarn.scheduler.maximum-allocation-vcores"在决定容器/节点数量方面的作用？

Question

我实际上是想弄清楚单个节点管理器中有多少个容器。它取决于哪些因素？ “yarn.scheduler.minimum-allocation-vcores”和“yarn.scheduler.maximum-allocation-vcores”在决定每个节点的容器数量方面的作用是什么？

Answer 1

yarn 中的默认资源调度程序是 Capacity Scheduler .

容量调度器有两个资源计算器

DefaultResourceCalculator (默认)

DominantResourceCalculator

DefaultResourceCalculator 仅使用内存来计算可用容器

public int computeAvailableContainers(Resource available, Resource required) {
// Only consider memory
return available.getMemory() / required.getMemory();
  }

DominantResourceCalculator 使用内存和内核

  public int computeAvailableContainers(Resource available, Resource required) {
    return Math.min(
        available.getMemory() / required.getMemory(), 
        available.getVirtualCores() / required.getVirtualCores());
  }

yarn.scheduler.minimum-allocation-vcores和 yarn.scheduler.maximum-allocation-vcores在决定每个节点的容器数量方面不发挥任何直接作用。

虽然请求资源应用程序告诉 yarn 内存和核心它需要 每个容器 .

在 mapreduce 中，我们指定了 mapreduce.map.cpu.vcores 所需的 vcores和 mapreduce.reduce.cpu.vcores
在 spark 中，我们指定了 spark.executor.cores 所需的 vcores
yarn.scheduler.minimum-allocation-vcores和 yarn.scheduler.maximum-allocation-vcores用于定义每个容器可以分配的最小和最大 vcores 数。