eclipse - 无法查看从 Eclipse 连接到 Hadoop 的 DFS 位置上的任何文件夹

Question

我在安装了 CYGWIN 的 Windows 中设置了 Hadoop1.2.1。我已经启动了 sshd 服务。还启动了namenode、datanode、mapreduce(job tracker、task tracker)。我可以通过以下网址查看namenode、datanode和mapreduce的运行状态。

当我尝试通过 eclipse 连接 hadoop 时，我能够。虽然我能够从 eclipse 连接 hadoop，但我在打开 DFS 位置时没有看到任何文件夹。它显示为(0)(引用图片#1， 我想没有可用的目录/文件。同样我检查了名称节点存储(引用图片#2)

即使我尝试通过 CYGWIN 终端创建目录(引用图片 #4)，我也无法在 eclipse 环境中的 DFS 位置看到它。

也就是说，我尝试使用 WordCount 示例，通过如下设置输入路径和输出路径，//指定输入和输出目录

FileInputFormat.addInputPath(conf, new Path("Input")); 
FileOutputFormat.setOutputPath(conf, new Path("Output"));

当我从 eclipse 在 HDFS 位置运行它时，出现以下异常

13/10/30 06:52:44 错误 security.UserGroupInformation:PriviledgedActionException 作为:管理员原因:org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs://localhost:47110/用户/管理员/输入org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs://localhost:47110/user/Administrator/Input

问题:为什么我看不到我通过 CYGWIN 终端创建的目录以及与此相关的任何文件夹？
"hdfs://localhost:47110"指向什么？
我是否收到上述异常，因为它看不到数据节点中的目录？我应该设置什么输入路径？

请给我一些建议。

提前致谢。

Answer 1

1st 你应该从头开始检查你的 hadoop 集群的所有设置，因为这个问题表明你没有使用 hadoop 集群正确配置你的 eclipse

请参阅以下链接，它可以帮助您...

https://www.youtube.com/watch?v=TavehEdfNDk

还要检查你的 dfs 是否连接到你的集群意味着是否能够存储文件并在你的 dfs 中..