gpt4 book ai didi

hadoop - 在 Hadoop 中更新分布式缓存中的缓存文件

转载 作者:可可西里 更新时间:2023-11-01 16:34:08 26 4
gpt4 key购买 nike

我有一小部分文件被缓存并通过 DistributedCache 分发到 map reduce 作业。缓存的文件将来需要定期更新。我想知道是否可以在不重新启动 map reduce 作业的情况下更新缓存文件。

我读到 DistributedCache 跟踪缓存文件的修改时间戳。当 map reduce 作业不使用它时,更新文件是否有用?

最佳答案

缓存文件在提交作业时被复制到 HDFS,然后在生成 M/R 任务之前由不同的任务跟踪器在本地复制到本地节点。因此,分布式缓存中的文件在作业运行时无法更改。

关于hadoop - 在 Hadoop 中更新分布式缓存中的缓存文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14822424/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com