hadoop - dfs.blocksize和BlockCapacity的值不同

Question

NameNode的REST响应中提供的BlockCapacity与我们在HDFS dfs.blocksize下的Ambari中设置的不同。

使用以下REST请求获取块容量
https://<namenode-ip>:50470/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem
我得到的BlockCapacity的值为2097152，相当于2MB。



默认情况下，Ambari中dfs.blocksize的值为128MB。



来自NameNode REST API响应的BlockCapacity和来自Ambari的dfs.blocksize是相同还是不同？

Answer 1

BlockCapacity 是指HDFS可以容纳的总块数。该值基于分配的Namenode的堆大小进行计算。可以根据为dfs.replication，dfs.blocksize和总DFS容量配置的值来得出require堆大小。

here发现的示例描述了这些配置如何帮助确定名称节点的堆大小，从而确定块容量。

在这种情况下，文件系统可以容纳总共 2097152 块(不包括复制)，每个块都具有配置的dfs.blocksize作为每个块的最大大小。