hadoop - 如何在 YARN 中增加 nodemanager 中的容器数量

Question

我的 YARN 集群中的一个节点有 64GB 内存和 24 个内核。我在 yarn-site.xml 中设置了以下属性:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

但是我发现节点中的nodemanager仍然只有7个容器。我需要设置哪些其他属性？

Answer 1

你需要告诉 YARN 如何将内存分解为容器，例如，如果你将每个容器的内存设置为 2GB 将为你提供 16 个容器

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>