Hadoop 字数统计示例失败并显示 'not a SequentialFile' 。如何设置文件格式？

Question

我正在尝试运行 hadoop jar/usr/lib/hadoop/hadoop-examples.jar aggregatewordcount/data/gutenberg/huckfinn.txt output/guten4 但出现错误“huckfinn.txt不是序列文件”。

我阅读了other sites ，并在 source of this example file 中查看我猜有一个参数 textinputformat 可以解决这个问题。不过，我不知道要为它指定什么。

如果我运行 hadoop jar/usr/lib/hadoop/hadoop-examples.jar aggregatewordcount/data/gutenberg/huckfinn.txt output/guten5 2 textinputformat，我会得到一个不同的错误，“java .lang.RuntimeException:配置对象时出错”

Answer 1

根据mailing list post从您的问题链接， java.lang.RuntimeException: Error in configuring object 异常是由示例的依赖项不在 tasktracker 的类路径中引起的。你可以从完整的回溯中看到这一点:当我在我的机器上运行你的第二个命令时，我得到:

java.lang.RuntimeException: Error in configuring object
    [...]
Caused by: java.lang.reflect.InvocationTargetException
    [...]
Caused by: java.lang.RuntimeException: Error in configuring object
    [...]
Caused by: java.lang.reflect.InvocationTargetException
    [...]
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.examples.AggregateWordCount$WordCountPlugInClass
    [...]
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.examples.AggregateWordCount$WordCountPlugInClass
    [...]

This post on the Cloudera blog讨论了向任务跟踪器提供依赖项的不同方法。

为了运行 aggregatewordcount 示例，我使用了 -libjars 选项:

hadoop jar hadoop-examples.jar aggregatewordcount -libjars hadoop-examples.jar/data/gutenberg/huckfinn.txt 输出/guten7 2 textinputformat