amazon-web-services - 如何在 Elastic MapReduce 上的 Hadoop 2.4.0 中为每个节点设置精确的最大并发运行任务数

Question

根据 http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ ，确定每个节点并发运行任务数的公式为:

min (yarn.nodemanager.resource.memory-mb / mapreduce.[map|reduce].memory.mb, 
     yarn.nodemanager.resource.cpu-vcores / mapreduce.[map|reduce].cpu.vcores) .

但是，将这些参数设置为(对于 c3.2xlarges 集群):

yarn.nodemanager.resource.memory-mb = 14336

mapreduce.map.memory.mb = 2048

yarn.nodemanager.resource.cpu-vcores = 8

mapreduce.map.cpu.vcores = 1,

我发现当公式说应该是 7 时，每个节点最多只能同时运行 4 个任务。这是怎么回事？

我在 AMI 3.1.0 上运行 Hadoop 2.4.0。

Answer 1

我的经验公式不正确。 Cloudera 提供的公式是正确的，并且似乎给出了预期的并发运行任务数，至少在 AMI 3.3.1 上是这样。