java - 为什么 DistributedCache 会破坏我的文件名

Question

我有一个奇怪的问题，DistributedCache 似乎更改了我的文件的名称，它使用原始名称作为父文件夹并将文件添加为子文件夹。

即文件夹\文件名.ext 变成文件夹\文件名.ext\文件名.ext

任何想法，我的代码如下。谢谢阿金塔约

String paramsLocation="/user/fwang/settings/ecgparams.txt";
DistributedCache.addCacheFile(new URI(paramsLocation), firstStageConf);

Path[] paths = DistributedCache.getLocalCacheFiles(job);
 for (Path path: paths) {
  if (path.getName().equals(ecgParamsFilename)) {
   File f = new File(path.toString());
    if (f.exists()) {
     ecgParamsFullFileName = f.getAbsolutePath();
     //this becomes /user/fwang/settings/ecgparams.txt/ecgparams.txt 
    }
  }
 }

更新:2010 年 8 月 16 日用以下内容替换原来的调用，停止名称的混淆。

DistributedCache.addCacheArchive(new URI(ecgParamsLocation), firstStageConf);

Answer 1

您确定要使用 addCacheArchive() 吗？有一个 addCacheFile() http://hadoop.apache.org/common/docs/r0.15.2/api/org/apache/hadoop/filecache/DistributedCache.html#getCacheFiles%28org.apache.hadoop.conf.Configuration%29