java - 如何使用 Oozie 运行 MapReduce ToolRunner 作业？

Question

我开发了一个使用 ToolRunner 的 MapReduce 应用程序。基于用户传递的参数和配置属性，应用程序以某种方式设置作业:选择特定的输入/输出格式，选择映射器和缩减器类等。此逻辑在 run(我的主类中的 String[] args) 方法，它实现了 Configured 和 Tool。

Oozie 支持 MapReduce 操作节点，但问题是我不能将它们用于我的自定义 ToolRunner 应用程序。 MapReduce 操作仅允许通过配置输入/输出格式、mapper/reducer 类和键/值类来定义静态作业。我的应用程序基于更高级别的业务逻辑动态执行此操作。

该操作应该能够执行类似于此命令行的操作:

hadoop jar my.jar com.example.MyMainClass -D my.config1=a -D my.config2=b arg1 arg2

我可以创建支持 ToolRunner MapReduce 应用程序的 Oozie 操作吗？

Answer 1

是的，您可以使用 Java Action .不幸的是，这并不理想，因为 Oozie 创建了一个作业，然后运行您的 ToolRunner，它创建了自己的作业。它确实有效。