hadoop - 第一个hadoop项目报错: "Input path does not exist"

Question

要设置一个简单的 hadoop 项目，我将按照本教程进行操作:http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

我的 hadoop 单节点似乎运行正常。

当我使用此代码指定 In 文件夹时:

FileInputFormat.setInputPaths(conf, new Path("In"));

我收到这个错误:

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

目前 In 文件夹创建在 C:\homedir\hadoop-1.0.4\In

我需要在哪里创建“In”文件夹，以便它出现在 hdfs://localhost:9100/user/DEVUSER/In 中？我是否需要更新 xml 文件以指向本地文件系统上的文件夹？

Answer 1

您需要先将输入文件上传到 HDFS 文件系统:

bin/hadoop fs -mkdir In

将在 HDFS 中创建一个名为 /user/DEVUSER/In 的目录。

bin/hadoop fs -put *.txt In

将所有 *.txt 文件从当前目录复制到集群 (HDFS)。

你好像跳过了Upload data一章从教程。按照它去做，你的问题应该就解决了。