hadoop - 对于 oozie，如何使用 hadoop 1.3 让用户 jar 优先于 hadoop jar

Question

我正在使用 hadoop 1.3 和 oozie。我的java操作引用了一个方法commons-collection 1.7。这在以前的版本中不存在。该 jar 是一个包含所有类的胖 jar，我将其放在工作流程下的 lib 文件夹中。 OOzie 在启动时我的提交操作引用了类路径上的旧 hadoop jar，而不是给予用户 jar 优先级。有什么办法可以优先考虑用户 jar 吗？ oozie.launcher.mapreduce.task.classpath.user.precedence=true 将不起作用，因为这是 hadoop 1.3 而不是 hadoop2。

Answer 1

如果您使用 Maven，一种方法是使用 Maven Shade Plugin 隐藏 jar 中有问题的类.这将透明地重命名您的 jar 中的类，这样它们就不会与由 Oozie 或 Hadoop 放在类路径中的相同类的不同版本发生冲突。