hadoop - 将新文件加载到DistributedCache

Question

我有一个理论上的案例。我有一个文件加载到DistributedCache中。然后我运行我的mapreduce程序。

作业完成后，我想更新我的文件。
当我使用相同的参数运行程序时，DistributedCache是​​否会自动下载文件的新版本？

Answer 1

是的，当重新提交作业时，分布式缓存文件也应该得到更新。
使用分布式缓存文件提交作业后(例如，使用-file选项)，任务跟踪程序会将文件复制到其本地磁盘。该文件现在对映射器可用。
因此，当重新提交作业时，任务跟踪器应再次将文件复制到本地磁盘。因此，当执行此操作时，它将把更新的文件获取到Task Tracker的本地文件系统中。

另请注意，任务跟踪器会为缓存中的每个文件维护一个引用计数。作业完成并且计数变为零后，该文件将可以删除(超过了local.cache.size之后)。