hadoop - 在本地运行 Hadoop，在 VM 中访问 HDFS。找不到本地文件

Question

为什么 HDFS 不能从我的本地机器读取文件？此异常中的路径似乎表明它正在从我的笔记本电脑(而不是 VM)读取，但找不到该文件。 ls 显示它确实存在(见底线)。请让我知道我可以提供更多信息!

java.io.FileNotFoundException: File file:/Users/rose/bigdata/4/data/data.txt does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:468)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:380)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:139)
at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:335)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:746)
at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:83)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:478)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:671)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:330)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.secur
14/02/03 16:05:27 WARN mapred.JobClient: Error reading task outputConnection refused
14/02/03 16:05:27 WARN mapred.JobClient: Error reading task outputConnection refused
ç∂ç^C~/bigdata/4/data ls
c1.txt c2.txt data.txt vocab.txt

Answer 1

我相信，除非您专门配置 Hadoop 以忽略 HDFS(core-site.xml:属性 fs.defaultFS 设置为 file:///)，否则它将从 HDFS 读取。

要么将您的文件上传到 HDFS(通过使用 hdfs dfs -put <file> <destination-on-hdfs> 到一个活跃运行的 HDFS 节点)，要么更改您的 Hadoop 配置。您可能需要配置的不仅仅是 fs.defaultFS属性使其正常工作。

希望对您有所帮助。 :)