java - Hadoop DistributedCache 已弃用 - 首选 API 是什么？

Question

我的 map task 需要一些配置数据，我想通过分布式缓存分发这些数据。

Hadoop MapReduce Tutorial显示 usage DistributedCache类的，大致如下:

// In the driver
JobConf conf = new JobConf(getConf(), WordCount.class);
...
DistributedCache.addCacheFile(new Path(filename).toUri(), conf); 

// In the mapper
Path[] myCacheFiles = DistributedCache.getLocalCacheFiles(job);
...

但是，DistributedCache 是 marked as deprecated在 Hadoop 2.2.0 中。

实现这一目标的新首选方法是什么？是否有涵盖此 API 的最新示例或教程？

Answer 1

分布式缓存的 API 可以在 Job 类本身中找到。在此处查看文档:http://hadoop.apache.org/docs/stable2/api/org/apache/hadoop/mapreduce/Job.html 代码应该类似于

Job job = new Job();
...
job.addCacheFile(new Path(filename).toUri());

在您的映射器代码中:

Path[] localPaths = context.getLocalCacheFiles();
...