java - hadoop中的addCacheFile

Question

我是Hadoop的新手。我想知道以下代码:

DistributedCache.addCacheFile(new Path(args[0]).toUri(), conf);

我的意思是:=> arg [0] .toUri()

以及“ addCachFile ”

谢谢

Answer 1

分布式缓存的adCacheFile()方法采用要添加到分布式缓存的文件的URI，新Path(args [0])将此路径从输入参数中转换为URI，然后将此URI用于将文件添加至Hadoop的分布式缓存。

路径-可以是文件或目录的名称。

当将此文件添加到分布式缓存时，该文件可用于所有映射器，如果文件较小，这是hadoop中的一种优化技术。您可以使其对所有节点都可访问，以更快地访问数据。

有关更多详细信息，您可以检查以下内容:

https://hadoop.apache.org/docs/r1.2.1/api/org/apache/hadoop/fs/Path.html

Confusion about distributed cache in Hadoop