java - Reducer Hadoop 中的分布式缓存

Question

我想在 reducer1 的内存中保存文件 A，在 reducer2 的内存中保存文件 B。在hadoop中使用分布式缓存技术可能吗？或者，还有其他方法可以实现吗？

谢谢

Answer 1

是的，如果文件相当小，您可以将这些文件设置在分布式缓存中。点击此链接 http://developer.yahoo.com/hadoop/tutorial/module5.html#auxdata .它可能对你有用。

如果您考虑这部分代码，则由您决定要在哪个 reducer 中处理哪个文件。

Path [] cacheFiles = DistributedCache.getLocalCacheFiles(conf);
      if (null != cacheFiles && cacheFiles.length > 0) {
        for (Path cachePath : cacheFiles) {
          if (cachePath.getName().equals(stopwordCacheName)) {
            loadStopWords(cachePath);
            break;
          }
        }

看看有没有帮助