gpt4 book ai didi

hadoop - 假设我有1000万个文件,大小为2 KB,那么我可以将其存储在hdfs中吗?

转载 作者:行者123 更新时间:2023-12-02 22:08:14 24 4
gpt4 key购买 nike

I was asked the question Suppose i have 10 millions of files, which is of 2 KB in size, so can i store it in hdfs? kindly answer to this question.

最佳答案

HDFS用于处理大文件。如果加载2 KB文件,则会增加开销并在名称节点上加载,因为它存储有关文件的元数据。

块大小是文件系统可以存储的最小数据单位。如果您存储的文件大小为2kb,则将占用一个块。越过64Mb边界后,您需要第二个块,读取操作的数量将很大,这将增加读取开销。

最好的方法是将所有2 Kb文件合并为一个文件,然后将其保存在hadoop中。

关于hadoop - 假设我有1000万个文件,大小为2 KB,那么我可以将其存储在hdfs中吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40780957/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com