hadoop - 如何/在何处设置限制以避免错误容器运行超出物理内存限制

Question

我知道此类问题已在一些帖子中得到解决，但我找不到提供具体“方式”或“位置”的答案

我正在使用 CDH5.2，运行一个执行 shell 命令的 oozie 工作流。每次我运行它时，nodemanager 都会终止作业并出现以下错误:

容器 [pid=6757,containerID=container_1424206993158_0001_01_000002] 运行超出物理内存限制。当前使用情况:已使用 1.0 GB 的 1 GB 物理内存；使用了 2.3 GB 的 2.1 GB 虚拟内存。杀死容器

这是我在配置文件中的相关属性。不过，我显然遗漏了一些东西，所以我正在寻求有关此设置必须驻留的具体位置的指导。

yarn 网站.xml:

  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>

  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8196</value>
  </property>

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8196</value>
  </property>

mapred-site.xml:

 <property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>8196</value>
  </property>
 <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072m</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx6144m</value>
  </property>

Answer 1

在 Cloudera Manager 5 中，您可以修改这些 YARN 资源设置:

YARN > Configuration > Gateway > Resource Management
YARN > Configuration > ResourceManager > Resource Management
YARN > Configuration > NodeManager > Resource Management

记得在保存更改后重新启动服务并部署客户端配置(使用“配置”屏幕上的“操作”按钮)。