hadoop - Hadoop 2 中 3 个内存参数之间的区别？

Question

我正在使用 Hadoop 2.0.5 (Alpha) 运行相对较大的作业，我遇到了这些错误:

Container [pid=15023,containerID=container_1378641992707_0002_01_000029] is running beyond virtual memory limits. Current usage: 492.4 MB of 1 GB physical memory used; 3.3 GB of 2.1 GB virtual memory used. Killing container.

然后我了解了这两个参数:

yarn.nodemanager.vmem-pmem-ratio 属性，默认设置为 2.1。

yarn.app.mapreduce.am.command-opts 默认设置为 -Xmx1024mb (=1GB)。

这解释了上面标记的限制。

将这些参数设置为更高的值确实有所帮助，但后来我发现了这个参数:yarn.app.mapreduce.am.resource.mb 默认设置为 1536。

而且我无法从 Hadoop 的默认 XML 中给出的描述中完全分辨出这 3 个之间的区别，也无法以优化的方式正确设置它们。

一个解释或一个很好的引用将不胜感激

Answer 1

@twid 的回答是模棱两可的。根据官方文档here :

yarn.app.mapreduce.am.resource.mb 指定

"The amount of memory the MR AppMaster needs."

换句话说，它指定了用于运行application master的容器需要多少内存，这与用于运行mappers/reducers的容器无关。