hadoop - Hadoop MapReduce wordcount教程错误:输入路径不存在

Question

在Cloudera VM上的eclipse中运行基本的Hadoop wordcout教程时出现错误。错误是:

Input path does not exist: file:/user/cloudera/wordcount/input

但是，此目录确实存在，我已经专门创建了该目录，并且正在HDFS文件浏览器中盯着它。

Screenshot of my command line query and browser.

我已经将您看到的命令中的目录复制粘贴到Eclipse中的运行配置中，这些是我的参数:

/user/cloudera/wordcount/input /user/cloudera/wordcount/output

而且代码本身并未根据我下​​载的示例进行修改，相关的行为:

FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));

编辑:

hadoop jar /home/cloudera/examples/wordcount.jar WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

该命令在终端中有效，但是当我执行使用参数“/ user / cloudera / wordcount / input / user / cloudera / wordcount /输出”，然后出现上述错误。

为什么Eclipse无法正确运行此任务？它可以在终端上运行。

Answer 1

Why won't eclipse run this task properly?

我假设您将 /user/cloudera/wordcount/input作为 args[0]提供给Eclipse？

这将创建 new Path(args[0])，它是URIt file://指定的 本地 JVM和文件系统。

当您将参数提供给 hadoop jar时，它知道它应该从HDFS中读取，HDFS是在Hadoop配置的XML文件中指定的，并在URI hdfs://处查找输入。

作为引用， ls -l /与 hdfs dfs -ls /相比是非常不同的输出。前者没有指定的路径。

旁注:默认的HDFS路径使用 file://， ，但 Cloudera Quickstart会为您更改此设置。