java - Hadoop 要求输入路径位于 localhost 9000

Question

我正在尝试运行 Tom Whites 的第 2 章示例

当我运行命令时:

hadoop MaxTemperature input/ncdc/sample.txt output

我得到的错误是这样的:

11/12/31 18:08:28 INFO mapred.JobClient: Cleaning up the staging area hdfs://localhost:9000/tmp/hadoop-mymac/mapred/staging/mymac/.staging/job_201112311807_0001
11/12/31 18:08:28 ERROR security.UserGroupInformation: PriviledgedActionException as:mymac (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/mymac/input/ncdc/sample.txt
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/mymac/input/ncdc/sample.txt

我哪里设置错了？

我没接触过他的源码，可以在这里找到:

https://github.com/tomwhite/hadoop-book/tree/3e/ch02

Answer 1

您的 core-site.xml 和 hdfs-site.xml 文件配置为使用 localhost:9000。如果这不是您所期望的(这是我从您的帖子标题中得到的)，您期望的是什么？

我们谈论的是什么版本的 Hadoop？您是如何安装 Hadoop 发行版的？根据您的其他问题和配置文件，我猜您使用的是 CHD4。如果你看一下the instructions from Cloudera ，你能看看你是否遗漏了什么吗？

在启动 Hadoop 之前，您是否对 HDFS 进行了格式化？

$ hadoop namenode -format

那么，在启动Hadoop之后，除了INFO信息之外，你是否得到了其他信息？

您是否将输入数据复制到 HDFS 中？

$ hadoop dfs -put /tmp/my/input/data input

最后，您可以从简单的 HDFS 命令中得到什么，例如:

$ hadoop dfs -ls /

更新:运行字数统计

1. 启动并运行 HDFS。运行 hadoop dfs -ls/ 应该可以。
2. 将包含文本文件的文件夹复制到 HDFS:hadoop dfs -put text_files input_folder
3. 运行 hadoop dfs -ls . 以查看您的文件是否已正确复制。
4. 在您的系统上找到 hadoop-examples-X.Y.Z.jar 文件。

5. 导航到它所在的任何目录，然后运行:

   $ hadoop jar hadoop-examples-*.jar WordCount input_folder output_folder。

6. 您应该会看到 MapReduce 应用程序的进度。

7. 完成后，使用 hadoop dfs -cat output_folder/* 查看输出。