hadoop - Namenode文件数量限制

Question

有人知道在 Hdfs 的 namenode 中每个文件占用多少字节吗？我想估计一个32G内存的namenode可以存储多少个文件。

Answer 1

每个文件或目录或 block 在名称节点内存中占用大约 150 个字节。 [1] 因此，具有 32G RAM 的名称节点的集群最多可以支持(假设名称节点是瓶颈)大约 3800 万个文件。 (每个文件也将占用一个 block ，因此每个文件实际上占用 300 个字节。我还假设 3x 复制。因此每个文件占用 900 个字节)

然而在实践中，这个数字会少很多，因为所有的 32G 都不会被名称节点用来保存映射。您可以通过为该机器中的名称节点分配更多堆空间来增加它。

复制也会在较小程度上影响这一点。每个额外的副本都会增加大约 16 个字节的内存需求。 [2]

[1] https://blog.cloudera.com/small-files-big-foils-addressing-the-associated-metadata-and-application-challenges/

[2] http://search-hadoop.com/c/HDFS:/src/main/java/org/apache/hadoop/hdfs/server/blockmanagement/BlockInfo.java%7C%7CBlockInfo