gpt4 book ai didi

hadoop - Hadoop 分布式缓存的生命周期

转载 作者:可可西里 更新时间:2023-11-01 14:16:36 25 4
gpt4 key购买 nike

在Hadoop Streaming作业中使用分布式缓存机制将文件传输到节点时,系统会在作业完成后删除这些文件吗?如果它们被删除,我认为它们是,有没有办法让缓存保留多个作业?这在 Amazon 的 Elastic Mapreduce 上的工作方式是否相同?

最佳答案

我仔细研究了源代码,看起来文件被 TrackerDistributedCacheManager 删除大约每分钟一次,当它们的引用计数下降到零时。 TaskRunner 在任务结束时显式释放其所有文件。也许你应该编辑 TaskRunner 不这样做,并通过更明确的方式自己控制缓存?

关于hadoop - Hadoop 分布式缓存的生命周期,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4483733/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com