hadoop - Pig - 将 jar 添加到类路径

Question

Pig 将所有通过 (pigserver.registerjar) 注册的 jar 组合到一个 job.jar 中。这实际上删除了 META-INF/MANIFEST.MF。

我们有一个 UDF，它使用包含预定义属性的 MANIFEST.MF 查找 jar(我们的一个 jar 包含这个)。当 Pig 删除这个 MANIFEST.MF 时，我们的 UDF 停止工作。

有没有办法将 jar 添加到类路径而不是 registerjar？或者有什么办法可以克服这个问题吗？

以下是代码片段:

cluster = new Cluster(new PigContext(ExecType.MAPREDUCE,properties));
PigServer pigServer = new PigServer(ExecType.MAPREDUCE,properties);
pigServer.registerJar("xyz.jar");
PigTest pigTest =  new PigTest(pigFile, args, pigServer, cluster);
pigTest.assertOutput("xxyyzz", jsonString);

Answer 1

您可以尝试在提交 Pig 脚本的父程序中设置类路径，或者更简单的方法是使用在执行父程序之前设置类路径的 Unix 脚本，例如 CLASSPATH=$CLASSPATH:your_jars java parent_program上面的行将确保修改 CLASSPATH 变量只是为了执行当前程序