gpt4 book ai didi

hadoop - HDFS 占用空间 : "hdfs dfs -du/" vs "hdfs dfsadmin -report"

转载 作者:可可西里 更新时间:2023-11-01 14:19:06 29 4
gpt4 key购买 nike

哪种工具最适合测量 HDFS 空间消耗?

当我总结“hdfs dfs -du/”的输出时,与“hdfs dfsadmin -report”(“DFS Used”行)相比,我总是消耗更少的空间。是否有 du 没有考虑的数据?

最佳答案

Hadoop 文件系统通过将数据副本放置到多个节点来提供重新标记存储。副本数是复制因子,通常大于一。

命令 hdfs dfs -du/ 显示空间在没有复制的情况下消耗了您的数据。

命令 hdfs dfsadmin -report(使用 DFS 行)显示实际磁盘使用情况,同时考虑了数据复制。所以当从dfs -ud命令获取数字时,它应该大几倍。

关于hadoop - HDFS 占用空间 : "hdfs dfs -du/" vs "hdfs dfsadmin -report",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33517658/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com