hadoop - 是否可以使用多个 jar 来指定 hadoop 中的作业？

Question

我通常在不同的 jar 文件中有公共(public)/共享库和实际工作代码。是否可以只重新编译一个job jar文件来执行hadoop命令hadoop jar asd？如果没有，是否有简化 jar 包装的解决方法？

Answer 1

我正在使用 Ant 来制作作业 jar。要在 buildConfig.xml 文件中包含所有公共(public)/共享库，您必须添加以下行:

<zipgroupfileset dir="pathToAllCommonAndSharedLibraries" includes="**/*.jar" />

这是构建配置文件的最简单示例。

<?xml version="1.0" encoding="UTF-8"?>
<project name="Example.makejar" default="jar" basedir=".">
    <target name="jar">
        <jar destfile="Example.jar" basedir="bin">
            <manifest></manifest>
            <zipgroupfileset dir="pathToAllCommonAndSharedLibraries" includes="**/*.jar" />
        </jar>
    </target>
</project>