hadoop - 在 Hadoop 中包含第三方 Jar

Question

我是 Hadoop 新手。我已将 Gson API 添加到我的 MapReducing 程序中。当我运行程序时得到；

Error: java.lang.ClassNotFoundException: com.google.gson.Gson

谁能建议我如何将第三方库添加到 Hadoop？

Answer 1

请务必在提交作业时向 HADOOP_CLASSPATH 和 -libjars 添加任何依赖项，如以下示例所示:

使用以下命令添加当前目录和 lib 目录中的所有 jar 依赖项:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`echo *.jar`:`echo lib/*.jar | sed 's/ /:/g'`

请记住，当通过 hadoop jar 启 Action 业时，您还需要通过使用 -libjars 将任何依赖项的 jar 传递给它。我喜欢使用:

hadoop jar <jar> <class> -libjars `echo ./lib/*.jar | sed 's/ /,/g'` [args...]

注意 sed 命令需要不同的分隔符； HADOOP_CLASSPATH 是 : 分隔的，-libjars 需要 , 分隔。