Hadoop 容器运行超出物理内存限制

Question

在运行 Hadoop 任务时，出现以下错误

Container [pid=12850,containerID=container_1489504424139_0638_01_201123] is running beyond physical memory limits. Current usage: 4.0 GB of 4 GB physical memory used; 8.8 GB of 8.4 GB virtual memory used. Killing container.

我在 stackoverflow 中搜索，它给了我几个页面( Link1 ， Link2 )。但这没有帮助。我仍然得到错误。我当前的 mapred-site.xml 文件如下:

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value> -Xmx3072m</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value> -Xmx6144m</value>
</property>
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>4096</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>8192</value>
</property>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx2048m</value>
</property>
</configuration>

谢谢!

Answer 1

尝试使用这些属性:

mapreduce.map.output.compress
mapreduce.map.output.compress.codec

或

更改内存分配属性:

mapreduce.map.memory.mb
mapreduce.reduce.memory.mb