Hadoop YARN - 如何限制请求的内存？

Question

尝试从 hadoop-mapreduce-examples-2.2.0.jar 运行 PI 示例时，出现以下异常:

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=512

不确定 1536 来自哪里，但 512 是我在 mapred-site.xml 中为子任务设置的最大堆大小:

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx410m</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx410m</value>
</property>

确定 map/reduce 任务大小的正确方法是什么？

Answer 1

512是yarn-site.xml中yarn.scheduler.maximum-allocation-mb的默认值，1536是yarn的默认值.app.mapreduce.am.resource.mb mapred-site.xml 中的参数。

确保allocation-mb > app.mapreduce.am.resource.mb，就可以了。