hadoop - 创建用于在 Hadoop 1.2.1 上运行 MapReduce 的 jar

Question

我是 Hadoop 的新手，我刚刚在我的 Mac 笔记本电脑 (Mavericks) 上安装了 Hadoop 1.2.1。然后，我在 IntelliJ IDEA 中创建了一个简单的 WordCount 项目，并能够在虚拟文本文件上运行代码。我在成功创建一个 jar 文件时遇到了麻烦，该文件将通过 IDE 复制我的执行。我收到以下错误:

java -jar ./out/artifacts/WordCount_jar/WordCount.jar test.txt out [19:35:21]
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
    at org.apache.hadoop.conf.Configuration.<clinit>(Configuration.java:146)
    at neu.cs.parallelprogramming.WordCount.main(WordCount.java:48)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 2 more
FAIL: 1

谁能告诉我我错过了什么？

Answer 1

我想您必须指定您的类(它实现了 Map/Reduce 函数)。例如，$ java -jar ./WordCount.jar classWordCount input.txt output或 $ hadoop jar yourprogram.jar **yourclass** inputpath outputpath