hadoop - HDFS存储检查显示不同的值

Question

我遇到了一种奇怪的情况，我从hdfs dfs -du命令获得了不同的结果，并且在cloudera管理器UI中看到了什么，我了解了两者之间的区别，但是没有任何线索可以帮助我捕获问题并解决了。

我还删除了所有快照并不允许它们使用，但是存储没有改变。

以下是输出:

[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s .
2.3 G  5.8 G  .
[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s /
250.3 T  749.3 T

Cloudera Manager用户界面

我还检查了 hdfs dfsadmin -report，它显示了与UI相同的结果

Configured Capacity:    1.54 PB
DFS Used:   897.77 TB
Non DFS Used:   2.98 GB
DFS Remaining:  682.27 TB
DFS Used%:  56.82%
DFS Remaining%: 43.18%
Block Pool Used:    897.77 TB
Block Pool Used%:   56.82%
DataNodes usages% (Min/Median/Max/stdDev):  11.17% / 58.94% / 69.35% / 13.31%
Live Nodes  45 (Decommissioned: 0)
Dead Nodes  0 (Decommissioned: 0)
Decommissioning Nodes   0
Total Datanode Volume Failures  0 (0 B)
Number of Under-Replicated Blocks   0
Number of Blocks Pending Deletion   0
Block Deletion Start Time   8/14/2017, 10:57:30 AM

Answer 1

我添加了hdfs dfs -du -h -s。和hdfs dfs -du -h -s /只是不显示我可能会错过的任何内容，可能在/ user / cloudera-scm下。

cloudera管理器用户界面显示与hdfs dfsadmin -report相同的值。

顺便说一句，我解决了以下问题:我发现/ tmp / logs / cloudera-scm使用了150T，并且仍在解释为什么我运行hdfs dfs -du -h -s时不考虑此卷