hadoop命令一次获取多个文件夹的大小

Question

我正在尝试找出 hadoop 命令以一次性获取多个文件夹/目录的大小。
我可以通过以下命令获取单个文件夹的大小:hadoop fs -du -s -h <directory>在这种情况下，存在更多子目录。

Answer 1

我认为没有 Hadoop 命令可以做到这一点。但是您可以将它与其他 shell 程序结合使用。例如:

hadoop fs -ls -R <directory> | grep "^d" | awk '{print $NF}' | xargs hadoop fs -du

这将执行 hadoop fs -du <directory> 中的每个目录.
上述命令的分解:

hadoop fs -ls -R <directory> | grep "^d"为您获取 <directory> 中的所有目录.

awk '{print $NF}'获取目录名称。

xargs hadoop fs -du执行 hadoop fs -du对于每个目录名称。

此外，使用 hadoop fs -du -s 可能很有用。而不是 hadoop fs -du如果您只对目录的大小感兴趣。