Oozie shell 操作内存限制

Question

我们有一个带有 shell 操作的 oozie 工作流，它需要比 Yarn 默认提供的 map task 更多的内存。

我们怎样才能给它更多的内存？

我们尝试将以下配置添加到操作中:

<configuration>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>6144</value> <!-- for example -->
  </property>
</configuration>

我们已将其设置为内联(在工作流.xml 中)配置和 jobXml。
两者都没有任何影响。

Answer 1

我们找到了答案:

shell 操作作为 oozie“启动器”映射任务执行，并且此任务不使用正常的配置属性。

相反，您必须在属性前加上“oozie.launcher”以使其适用于启动器任务。

所以在我们的例子中，如果我们对我们的 shell 操作使用以下配置，它就可以工作。

<configuration>
  <property>
    <name>oozie.launcher.mapreduce.map.memory.mb</name>
    <value>6144</value> <!-- for example -->
  </property>
</configuration>

这在 oozie 文档中并不明显。
我们在这里找到了这个:
http://downright-amazed.blogspot.com/2012/02/configure-oozies-launcher-job.html