gpt4 book ai didi

hadoop - 名称节点 block 管理

转载 作者:可可西里 更新时间:2023-11-01 16:43:34 25 4
gpt4 key购买 nike

假设我有一个 50mb 的文件,我的默认 HDFS block 大小是 64mb。所以在存储了这个 50mb 的文件之后,我们剩下 14mb 的 block 大小可以用来存储其他文件。现在 namenode 跟踪 HDFS 中存在的文件的 block 信息。所以在这种情况下,将有 2 条记录指向同一个 block ,一条用于 50mb 文件,一条用于 14mb 文件。

我的问题是名称节点如何跟踪这 2 个记录并提供有关文件的元数据信息,因为这 2 个文件将指向同一个 block 。

最佳答案

你假设每个 block 有多个文件是错误的。一个 block 只能存储一个文件,但一个文件可以存储在多个 block 上(如果它的大小大于 block 的大小)。所以Namenode每个 block 最多只会映射一个文件。

请注意,磁盘空间将仅用于实际文件大小,而不是整个 block 大小,这就是为什么有很多小文件可能会影响 Namenode 的内存。

关于hadoop - 名称节点 block 管理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38334325/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com