java - Hadoop MapFile阅读器未在分布式缓存中检测到文件

Question

我需要有关mapfile阅读器的帮助。
我通过-files选项将文件添加到缓存中
yarn jar HadoopProjects.jar rsProject.driver-文件hdfs:// localhost:8020 / data / mapFileTestFolder.tar.gz...。

在这里我称之为

@SuppressWarnings("deprecation")
@Override
protected void setup(Context context) {
    try {
        Path[] cacheLocalFiles = DistributedCache.getLocalCacheFiles(context.getConfiguration());
        logF.info("reducer started setup");

            for (Path path:cacheLocalFiles) {
                logF("reducer setup " + path.getName().toString());
                if (path.getName().toString().contains("mapFileTestFolder.tar.gz")) {
                    URI mapUri = new File(path.toString() + "/mapFileTestFolder").toURI();
                    logF.info("depReader init begins URI = " + mapUri.toString());
                    depReader = new MapFile.Reader(FileSystem.get(context.getConfiguration()),mapUri.toString(), context.getConfiguration());
                    logF.info("depReader init ends");

                }
            }
        } catch (IOException e) {
            e.printStackTrace();
            logF.info("depReader init error - " + e);
        } 
        //some other lines

}

这是我在日志中看到的
2014-03-11 08:31:09,305 INFO [main] rsProject.myReducer: depReader init开始URI = file:/ home / hadoop / Training / hadoop_work / mapred / nodemanager / usercache / hadoop / appcache / application_1394318775013_0079 / container_1394318775013_0079 .tar.gz / mapFileTestFolder
2014-03-11 08:31:09,345信息[主] rsProject.myReducer:depReader初始化错误-java.io.FileNotFoundException: 文件文件:/ home / hadoop / Training / hadoop_work / mapred / nodemanager / usercache / hadoop / appcache /application_1394318775013_0079/container_1394318775013_0079_01_000005/mapFileTestFolder.tar.gz/mapFileTestFolder/data不存在

mapFileTestFolder.tar.gz-这是一个压缩的 map 文件文件(其中包含索引和数据)

我猜这个文件存在于分布式缓存中，因为如果相同的话，运行程序进入运行状态。
为什么会这样？ = /

任何帮助表示赞赏
谢谢

Answer 1

问题已解决。我的愚蠢错误= /我应该使用命令将存档添加到分布式缓存，而不是文件。