gpt4 book ai didi

hadoop - 作业完成后如何更改distributedCache的内容?

转载 作者:可可西里 更新时间:2023-11-01 16:34:12 25 4
gpt4 key购买 nike

有没有办法在作业完成时更改与分布式缓存关联的文件的内容,并在随后的另一个映射/归约作业中用作新的分布式缓存?

最佳答案

检查 TrackerDistributedCacheManager.java代码了解更多详情。 Hadoop 保留一个关于有多少任务正在使用 DistributedCache 中的文件的引用计数。如果计数降为 0,则将文件标记为删除。因此,在作业结束时,DistributedCache 中的文件会被清理,否则它们会在作业间继续堆积在节点上。

因此,您不能更改分布式缓存中的文件并在连续作业中使用它。

关于hadoop - 作业完成后如何更改distributedCache的内容?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14407349/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com