hadoop - DistributedCache 是否会在每次作业后删除缓存的文件？

Question

DistributedCache 的文档状态:

Its efficiency stems from the fact that the files are only copied once per job and the ability to cache archives which are un-archived on the slaves.

当它说它可以“缓存从服务器上未归档的文件”时，它是什么意思？每次作业后是否删除缓存文件？我希望能够在不同的数据集上运行同一个作业数百次，而不会增加在每个作业之前重新分发 DistributedCache 文件的开销。这可能吗？

Answer 1

Hadoop 保留一个关于有多少任务正在使用 DistributedCache 中的文件的引用计数。如果计数降为 0，则将文件标记为删除。因此，在作业结束时，DistributedCache 中的文件会被清理，否则它们会在作业间继续堆积在节点上。