hadoop - Hadoop的replicates会不会占用NameNode的内存

Question

我们知道HDFS中的每个文件在NameNode中会占用大约300字节的内存，因为每个文件都有另外2个副本，所以一个文件在NameNode中总共会占用900字节的内存，或者副本不占用NameNode中的内存。

Answer 1

着眼于在 HADOOP-1687 完成的名称节点内存使用和性能优化可以看到 block 的内存使用量乘以了复制因子。但是，文件 和目录 的内存使用不会因复制而增加成本。

在该更改之前(即在 Hadoop 0.13 中)用于 block 的字节数是 152 + 72 * 复制，每个 block 的数字为 368 字节，默认复制设置为 3。文件通常使用 250 字节和目录 290 字节，无论复制设置如何。

从 0.15 开始就包含了这些改进(确实包括了一些每次复制的节省，但仍然存在每次复制的成本)。

我还没有看到任何其他引用表明每个复制的内存使用量已被删除。