hadoop - 在 YARN 中，容器大小是如何确定的？

Question

在YARN应用中，ApplicationMaster如何决定容器的大小？我知道有一些参数控制最小内存分配、vcores 比率等。但是应用程序主管如何理解它需要如此多的内存和如此多的 CPU 来完成特定作业 - MapReduce/Spark？

Answer 1

首先让我用一两行解释 YARN 的工作原理，然后我们回答问题。

因此，假设我们有 100GB 的 YARN 集群总内存和 1GB minimum-allocation-mb，那么我们有 100 个最大容器。如果我们将最小分配设置为 4GB，那么我们有 25 个最大容器。

每个应用程序将获得它要求的内存，向上舍入到下一个容器大小。因此，如果最小值为 4GB，而您要求 4.5GB，您将获得 8GB。

如果作业/任务内存要求大于分配的容器大小，在这种情况下它将击落该容器。

现在回到您最初的问题，YARN 应用程序大师如何决定特定作业需要多少内存和 CPU。

YARN 资源管理器 (RM) 通过逻辑队列为应用程序分配资源，其中包括内存、CPU 和磁盘资源。

默认情况下，RM 将允许最多 8192MB(“yarn.scheduler.maximum-allocation-mb”)到应用程序主 (AM) 容器分配请求。

默认的最小分配是 1024MB(“yarn.scheduler.minimum-allocation-mb”)。

AM只能向RM请求资源，增量为("yarn.scheduler.minimum-allocation-mb")且不超过("yarn.scheduler.maximum-allocation-mb")。

AM 负责将 ("mapreduce.map.memory.mb") 和 ("mapreduce.reduce.memory.mb") 舍入为可被 ("yarn.scheduler.minimum-allocation-mb"整除的值”)。

RM 将拒绝大于 8192MB 且值不能被 1024MB 整除的分配。

需要设置以下 YARN 和 Map-Reduce 参数以更改默认内存要求:-

对于 yarn

1. yarn.scheduler.minimum-allocation-mb
2. yarn.scheduler.maximum-allocation-mb
3. yarn.nodemanager.vmem-pmem-ratio
4. yarn.nodemanager.resource.memory.mb

对于 MapReduce

1. mapreduce.map.java.opts
2. mapreduce.map.memory.mb
3. mapreduce.reduce.java.opts
4. mapreduce.reduce.memory.mb

因此结论是，Application Master 不使用任何逻辑来计算特定作业的资源(内存/CPU)需求。它只是使用上面提到的参数值。如果任何作业在给定的容器大小(包括虚拟内存)内未完成，则节点管理器只需终止容器。