gpt4 book ai didi

Hadoop 文件系统大小 du 命令

转载 作者:可可西里 更新时间:2023-11-01 15:09:42 26 4
gpt4 key购买 nike

我想知道hadoop fs -du的两个输出是什么意思。文档上不清楚:

In [16]: subprocess.call(["hadoop", "fs", "-du","-
h","/project/crm/warehouse/"])

输出:

5.9 G 17.8 G /project/crm/warehouse/n98770_patron_1

路径的实际大小是多少? 5.9 GB 还是 17.8?

谢谢

最佳答案

第一列是实际的文件或目录大小,第二列是复制实际消耗的空间

由于 HDFS 复制您的数据,第二个字段显示它之后占用的总磁盘空间量。

在这种情况下,您的总尺寸为 17.8,基本尺寸为 5.9

17.8/5.9 is roughly 3

这意味着您的 hdfs 集群的复制因子为 3(默认值)。

如果你的复制因子是 2,那么输出将是:

5.9 G 12 G /project/crm/warehouse/n98770_patron_1

关于Hadoop 文件系统大小 du 命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48322886/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com