java - Hadoop MapReduce 程序在 Eclipse 中运行良好，但在导出到 .jar 文件时运行不佳

Question

在 Eclipse 中，我从三个目录添加外部库。 hadoop 中的 lib 目录，hbase 中的 lib 目录和我的 Eclipse 项目中的两个本地目录以及其他 jar。执行导出的 jar 文件时，我得到一个与 hbase 相关的 ClassNotFoundException。我确定这是我的外部库的问题。

我就这样执行程序:

hadoop jar /home/brunneis/Escritorio/mr.jar Principal -libjars /bigdata/hbase/lib/*.jar,/home/brunneis/workspace/MapReduce/lib/*.jar,/home/brunneis/workspaces/MapReduce/lib1.1.2/*.jar

在 hadoop-env.sh 文件中我还添加了这一行:

export HADOOP_CLASSPATH="/bigdata/hbase/lib/*.jar;/home/brunneis/workspace/MapReduce/lib/*.jar;/home/brunneis/workspace/MapReduce/lib1.1.2/*.jar"

这就是我得到的:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at Principal.main(Principal.java:27)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 6 more

非常感谢。

Answer 1

NoClassDefFoundError 当类在运行时不可见但在编译时可见时出现。这可能与 JAR 文件有关，因为没有包含所有必需的类文件。关于您的情况，下面的帖子可能会对您有所帮助。

HBase - java.lang.NoClassDefFoundError in java

粘贴上面链接的答案。

It's Hbase client Java Program, you should not run it with "hadoop". It's should be a standard jar program running style, like: java -jar yourjar.jar

When you use ">jar -cvf TestHBase.jar -C TestHBase/ .", it doesn't garantee the jar dependencies can be found during runtime, which you face it.

In eclipse, the jar export function has a choice of "Runable" jar.

So suggest you run your testing class seprately with explicitly point out the dependent jar.