gpt4 book ai didi

hadoop - 对于 DistributedCache 文件 hadoop 有多大算太大?

转载 作者:可可西里 更新时间:2023-11-01 15:03:09 25 4
gpt4 key购买 nike

是否有关于是否使用分布式缓存分发文件的指南?

我有一个大小为 86746785 的文件(我使用 hadoop dfs -dus - 不知道这是 bytes 还是什么)。分发这个文件是个好主意吗?

最佳答案

唯一可行的答案是“视情况而定”。

关于使用分布式缓存,您必须考虑的是文件被复制到任务中涉及的每个 节点,这显然会占用带宽。此外,通常如果您想要分布式缓存中的文件,您会将文件保存在内存中,因此您必须考虑到这一点。

至于你的情况——是的,那些是字节。大小大约为 86 MB,这对于分布式缓存来说非常合适。几百 MB 以内的任何内容都可能仍然存在。

关于hadoop - 对于 DistributedCache 文件 hadoop 有多大算太大?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15830944/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com