hadoop - Hadoop block 计数计算

Question

我们正在运行一个Hadoop集群，其复制因子为3，块大小为64MB。我们只是想知道计算/运行命令的最佳方法，以查看驻留在数据节点上的实际数据大小。
此外，我们尝试使用hdfs dfs -du -h和hdfs dfs dfsreport -report，但是我们注意到的是，如果我们的磁盘大小为12TB:
a)第一条命令将显示数据使用量接近500GB
b)第二条命令将显示11.5TB的数据使用量。

我们在这里缺少差异的原因是什么？任何帮助将是巨大的!

Answer 1

首先，我想用您提到的第二个命令来纠正您。它是:

hdfs dfsadmin -report

到了为什么结果不同的地步。现在， du命令仅显示dfs上使用的数据，而不显示非dfs上使用的数据。另一方面，第二个命令计算总空间(dfs + non-dfs)，然后为您提供所用总数据的详细信息。

它还携带着复制的数据量，即，如果数据消耗5 TB空间并且复制为3，则dfs-used将为15 TB。

希望能清除您的查询。