hdfs - hadoop 删除零字节的文件

Question

我正在寻找 hadoop 2.x 中的命令来删除 hdfs 中零字节的文件。
任何人都可以让我知道适当的命令。
我试图在 hdfs 中找到零字节的文件并将它们从目录中删除。

Answer 1

for f in $(hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done

一步步:
hdfs dfs -ls -R / - 递归列出 HDFS 中的所有文件
awk '$1 !~ /^d/ && $5 == "0" { print $8 }') - 打印那些不是目录且大小为 0 的完整路径
for f in $(...); do hdfs dfs -rm "$f"; done - 迭代删除