hadoop - hadoop中的磁盘使用(du)最大深度等效选项

Question

我正在寻找 hadoop 中的 du max-depth 选项，类似于 linux 中的 du --max-depth=1 命令。

例如:

ash@dev:~/usr $ du -h --max-depth=1
4.0K    ./Foredettinghelgen
44K     ./IssueTrackerBlogInterface
1.9M    ./IssueTrackerProduct
4.8M    ./pyexcelerator
52K     ./levenstein
532M    .

我知道 $hdfs dfs -du -h -s 选项，但想知道是否有“最大深度”选项。

Answer 1

That flag does not exist

您必须自己解析输出并对字节求和。

如果您想要的是最大深度 1，那么您可以执行 dfs du -s -h/path/* 为 /path 下的所有文件夹运行命令>

Twitter HDFS Du可能有一些您可以使用的代码