caching - 将 URI 作为运行时变量传递给 mapreduce hadoop 中的分布式缓存

Question

我在我的 mapreduce 程序中使用分布式缓存，我将三个变量传递给这个 mapreduce 程序 input file、output dir 和 config file.

我想添加第三个参数，即配置文件到分布式缓存。

我在 MapReduce 驱动程序的 run() 方法中设置参数如下:-

conf.set("CONF_XML", args[2]);

如何用同样的方法将这个文件添加到分布式缓存中。我该怎么做？

通常我们添加使用URI(new (file path));

DistributedCache.addCacheFile(new URI(file_path), conf); << here how to pass the argument parameter? 

Answer 1

将文件路径参数作为 URI 传递给 DistributedCache API

DistributedCache.addCacheFile(new Path(args[2]).toUri(),job.getConfiguration());