hadoop - 如何正确控制YARN容器分配增量？

Question

假设我想将YARN容器的默认值从1024 MB增加到1200MB，并使所有YARN容器的内存为1200MB的倍数(2400MB，3600MB，依此类推)。

我可以使用YARN参数yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb控制容器的最大大小和最小大小，如 Hadoop权威指南中所述。
我相信分配增量与yarn.scheduler.minimum-allocation-mb(请参阅this answer)相同，直到最近才遇到mentions of yarn.scheduler.increment-allocation-mb parameter:

Request a container 1200MB/1vcore: minimum size is 1GB, increment is 500MB -> a container of 1.5GB (rounded up to the next increment, the minimum is used as a base)

我没有在 yarn-defaults.xml for Hadoop 3.1.1中找到任何提及或此参数的默认值，更不用说较旧的版本了。

所以我的问题是:我是否需要将 yarn.scheduler.increment-allocation-mb中的 yarn-site.xml显式设置为1200MB，此属性的默认值为什么？

仅添加更多细节，我的Hadoop版本是2.6.0-cdh5.9.2(Cloudera发行版)。

Answer 1

根据Cloudera docs，默认值为512 MB。

是的，您需要将yarn.scheduler.increment-allocation-mb设置为1200MB，以使容器大小以其倍数递增。