java - Hadoop项目启动时需要的JAR有哪些？

Question

这一定看起来像是一个愚蠢的问题，但我是 Hadoop 的新手并且正在尝试运行一个简单的示例。但是，我一直遇到 JAR 文件的问题并且似乎没有正确的导入。我正在使用 cloudera CDH 4，它有很多 JAR 文件可供选择，每个文件都有多个版本。因为我刚刚开始，所以无法区分。目前我得到这个异常(exception):

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.<init>(DefaultMetricsSystem.java:38)
at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.<clinit>(DefaultMetricsSystem.java:36)
at org.apache.hadoop.security.UserGroupInformation$UgiMetrics.create(UserGroupInformation.java:120)
at org.apache.hadoop.security.UserGroupInformation.<clinit>(UserGroupInformation.java:236)
at org.apache.hadoop.mapreduce.task.JobContextImpl.<init>(JobContextImpl.java:72)
at org.apache.hadoop.mapreduce.Job.<init>(Job.java:144)
at org.apache.hadoop.mapreduce.Job.<init>(Job.java:131)
at org.apache.hadoop.mapreduce.Job.<init>(Job.java:139)
at com.ayon.hadoop.firstimpl.Driver1.main(Driver1.java:23)Caused by: java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 9 more

这可能是因为错误的 JAR 文件导入。所以我的问题是:

谁能告诉我启动一个简单的 Hadoop 作业所需的基本 JAR 文件是什么？此外，任何指向上述异常的指针都将不胜感激。

Answer 1

要包含所有必需的 jar 文件，请使用以下命令编译您的代码:

# javac -cp `$HADOOP_HOME\bin\hadoop classpath` YourClassFile.java 

请注意引号