hadoop - 我可以提交包含多个配置文件的 oozie 作业吗？

Question

在 Oozie CLI 中我想做这样的事情:

oozie job -oozie http://host:port/oozie -config jobConfig.properties, baseConfig.properties -submit

我有很多不同的工作正在运行，其中 .properties 文件的一部分是相同的。我希望能够将重复的部分移动到一个单独的 baseConfig.properties 文件中，并在我提交作业时将其与特定于作业的部分结合起来。

Answer 1

如果被覆盖的属性数量很少，您可以只引用基础配置文件，然后为每个要自定义的属性使用-Dprop1=value 符号。

否则我认为您有两个(可能是三个)备选方案(因为您不能将多个配置选项传递给当前的 OOZIE 客户端):

1. 创建一个脚本，将基础和作业特定的属性文件连接在一起，并使用合并文件的名称运行 oozie
2. 使用来自 OozieCLI 的来源作为起点，编写一个扩展类，可以处理 -config 选项的 CSV 值，或者可以处理多个 -config 参数实例
3. 您是否能够将每个操作的公共(public)属性移动到静态 jobXml 文件中，那么您只需要一个配置文件来处理作业运行之间的实际差异。