java - 如何将外部库添加到 Hadoop map-reduce 任务

Question

我有 MyClass.java 来定义 map-reduce 任务。 MyClass.java 包含 mapper、reducer 和 main 的定义。它工作正常，但如果我尝试使用/添加外部 jar，我会收到消息 ClassNotFoundException。

编译我使用命令:

javac -classpath hadoop_library_path:my_library_path -sourcepath code_path/ -d class_path/ path/MyClass.java

我创建 jar，然后运行任务:

hadoop jar maclass.jar MyClass input output -target target

在“jar hadoop”命令中也需要添加外部 jar 吗？我尝试使用 -libjars 选项但没有结果。有什么想法吗？

Answer 1

正如我评论的那样，我看到了两个选项(可能还有更多):

1. 使用 Eclipse 并生成可运行的 jar(我不确定 NetBeans 或 IntelliJ)。

2. 使用 maven 及其 shade 插件生成一个 uber jar。您应该添加所有用作依赖项的外部库。

我推荐后一种选择。