Hadoop:从 DistributedCache 获取文件时出现 FileNotFoundExcepion

Question

我有 2 个节点集群 (v1.04)，主节点和从节点。在 master 上，在 Tool.run() 中，我们使用 addCacheFile() 将两个文件添加到 DistributedCache。文件确实存在于 HDFS 中。在 Mapper.setup() 中，我们希望使用

从缓存中检索这些文件

FSDataInputStream fs = FileSystem.get( context.getConfiguration() ).open( path ). 

问题是对于一个文件抛出一个 FileNotFoundException，尽管该文件存在于从属节点上:

attempt_201211211227_0020_m_000000_2: java.io.FileNotFoundException: File does not exist: /somedir/hdp.tmp.dir/mapred/local/taskTracker/distcache/-7769715304990780/master/tmp/analytics/1.csv

ls –l 在从机上:

[hduser@slave ~]$ ll /somedir/hdp.tmp.dir/mapred/local/taskTracker/distcache/-7769715304990780/master/tmp/ analytics/1.csv                        
-rwxr-xr-x 1 hduser hadoop 42701 Nov 22 10:18 /somedir/hdp.tmp.dir/mapred/local/taskTracker/distcache/-7769715304990780/master/tmp/ analytics/1.csv

我的问题是:

1. 所有文件不应该存在于所有节点上吗？
2. 应该怎么做才能解决这个问题？

谢谢。

Answer 1

已解决 - 应该已被使用:

FileSystem.getLocal( conf ) 

感谢来自 Hadoop 邮件列表的 Harsh J。