hadoop - oozie.launcher.* 配置放在哪里？

Question

在尝试正确使用 Oozie 时，我最终设置了一些参数，即:

• oozie.launcher.mapreduce.map.memory.mb
• oozie.launcher.mapreduce.map.java.opts
• oozie.launcher.yarn.app.mapreduce.am.resource.mb
• oozie.launcher.mapred.job..queue.name

如果我在工作流配置中设置它们，它们会按预期工作。

有没有一种方法/一个地方可以全局设置它们，即。不是每个工作流程？我原以为 custom-oozie-site.xml 会是正确的位置，但显然不是(如果放在那里它们没有效果)。工作流本身是唯一可以配置它们的地方吗？

如果相关，我使用的是 hdp 2.5。

Answer 1

在文档的 Oozie Parameterization of Workflows 部分，他们声明

Workflow applications may define default values for the workflow job parameters. They must be defined in a config-default.xml file bundled with the workflow application archive... Workflow job properties have precedence over the default values.

我见过的另一个选择是定义父工作流定义并传播到子工作流。诚然，这仅适用于特定情况，并不总是一个好主意。

此外还有工作流部署部分的文档注释

The config-default.xml file defines, if any, default values for the workflow job parameters. This file must be in the Hadoop Configuration XML format. EL expressions are not supported and user.name property cannot be specified in this file. Any other resources like job.xml files referenced from a workflow action action node must be included under the corresponding path, relative paths always start from the root of the workflow application.

这是我的团队目前正在尝试解决 12 种不同 ETL 加载的问题。