linux - 我如何清除或合并 HDFS 中的数百万个文件？

Question

在我们的 Datalake (Hadoop/Mapr/Redhat) 中，我们有一个包含超过 40M 文件的目录。我们无法运行 ls 命令。

我尝试启动 hadoop 命令 getmerge 来合并文件，但没有输出。

Hadoop fs -rm 也不起作用。

还有其他方法可以查看此文件夹的内容吗？如何在不扫描的情况下从中清除旧文件？

谢谢

Answer 1

几件事。如果您有权访问名称节点或辅助节点，您可以使用 hdfs oiv 将 HDFS 转储到离线分隔文件，然后找到您正在寻找的路径。

Hadoop 有一种名为 .har 的现有文件格式，代表 Hadoop 存档。如果你想保留你的文件，你应该考虑使用它而不是 getmerge。

您可以使用distcp 来删除目录。

您可以在/tmp 中创建一个空的 HDFS 目录，然后使用 distcp 将空目录复制到包含 40M 文件的目录中，并使用更多映射器进行删除。

$ hdfs dfs -mkdir /tmp/empty_dir
$ hadoop distcp -m 20 -delete /tmp/empty_dir /PATH-OF-MILLION-FILES-DIR

fs -rm -r 是单线程的，而 distcp 基于映射器并行运行。您应该将 -delete 选项与 distcp 一起使用。

引用资料:

• Offline Image Viewer Guide
• Hadoop Archives Guide
• DistCp Version2 Guide