hadoop - 为集群中的yarn.scheduler.maximum-allocation设置正确值的公式是什么

Question

考虑以下情况:要设置一个群集，其中每台计算机都具有32G GB的RAM。和16个CPU核心

如何根据信息(32G GB RAM和16 CPU CORE)确定以下参数
)

yarn.scheduler.maximum-allocation-mb
yarn.scheduler.maximum-allocation-vcores 

是否可以在此处给出公式以在任何群集上计算这些参数？

众所周知，某些RAM(32G)应该保留给操作系统和其他已安装的应用程序。

所以我们将-yarn.nodemanager.resource.memory-mb设置为28G

Answer 1

Cloudera提供了一个电子表格来执行此操作。

http://tiny.cloudera.com/yarn-tuning-guide

您还应该看看Untangling Apache Hadoop YARN, Part 2: Global Configuration Basics

通常，应该将vcores视为一个计算单位。如果您认为您的应用程序平均使用1GB的RAM，则在总内存为28GB的情况下，可以将vcores设置为28。如果您认为是2GB，则为14。

注意:在几乎所有情况下，应用程序都受I / O约束(磁盘或网络)，因此CPU过度使用很少是限制因素。