hadoop - 我可以动态重命名 oozie 作业名称吗

Question

我们有一个 Hadoop 服务，其中有多个应用程序。我们需要通过重新执行相同的工作流来处理每个应用程序的数据。这些计划在一天的同一时间执行。问题是，当这些作业正在运行时，很难知道该作业正在为哪个应用程序运行/失败/成功。当然，我可以打开作业配置并知道它，但这确实需要时间，因为有 10 多个应用程序在该服务下运行。

oozie 中是否有任何选项可以在执行作业时动态传递工作流(或其中的一部分)的名称

oozie job -run -config <filename> -name "<NameIWishToGive>"
OR
oozie job -run -config <filename> -nameSuffix "<MyApplicationNameUnderTheService>"

此外，我们不希望创建多个作业文件夹来单独执行，因为那样复制粘贴会太多。

请推荐。

Answer 1

在我看来，您应该能够只使用作业配置中设置的属性。

通过执行以下操作，我能够获得动态名称。

这是我的 workflow.xml 的示例:

<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf-${environment}">
...
</workflow-app>

在我的 job.properties 中我有:

...
environment=test
...

名称最终是:“map-reduce-wf-test”