hadoop - 如何在Oozie工作流程中覆盖Hadoop依赖关系？

Question

我需要使用比hadoop-common当前 bundle 的jsch更高的版本。

当我用hadoop jar运行我的工作时，我使用export HADOOP_CLASSPATH=path/to/jsch-0.1.51.jar:$HADOOP_CLASSPATH和export HADOOP_USER_CLASSPATH_FIRST=true，它工作正常。

但是我无法使其在Oozie工作流程中工作。我将jsch-0.1.51.jar放在我的Oozie工作流工作区的lib目录中，但最后在类路径中加载了它。我也尝试过oozie.libpath，但没有成功。

Answer 1

我用maven-shade-plugin解决了我的问题:

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.3</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>foo.bar.Main</mainClass>
                            </transformer>
                        </transformers>
                        <relocations>
                            <relocation>
                                <pattern>com.jcraft.jsch</pattern>
                                <shadedPattern>shaded.com.jcraft.jsch</shadedPattern>
                            </relocation>
                        </relocations>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>