hadoop - getLocalCacheArchives 方法有什么作用？

Question

我不确定这个方法的作用。它是 DistributedCache 类的一部分。

我实际上在 Hadoop Blast 的代码中使用它。我有一个文件 RunnerMap.java，它有一个方法 setup(Context context)，它获取 localDB 和 localBlastProgram 的路径，如下所示:

Configuration conf = context.getConfiguration();
Path[] local = DistributedCache.getLocalCacheArchives(conf);
localDB = local[0].toUri().getPath() + File.separator + conf.get(DataAnalysis.DB_ARCHIVE) + File.separator + conf.get(DataAnalysis.DB_NAME);
localBlastProgram = local[0].toUri().getPath();

我是 Java 的新手，所以我无法理解这四行代码。

我在 MapReduce 文档中也找不到 getLocalCacheArchives 的描述。

Answer 1

使用DistributedCache，使集群的节点可以共享一些文件/文件。存档通常是 zip、tar 和 tgz/tar.gz 文件。

因此，在 main 方法中，您应该设置您希望节点共享的那些文件或存档(只读访问)，然后在设置方法中，您可以获取这些文件，就像您在发布的文章中所做的那样行，使用 getLocalCacheArchives() 方法。

也许，您会在 this old documentation 上找到一些有用的信息和示例，因为 DistributedCache 现已弃用。