scala - Hadoop 中的快速递归文件夹删除

Question

我正在尝试递归删除 HDFS 中的文件夹。就像是:fs.delete(路径, 真)

但是，我要删除的文件夹中包含大量文件。有什么办法可以快速删除文件夹？

我的假设是真正的递归不会遍历每个文件并批量删除文件夹，但情况似乎并非如此，因为我可以看到一个一个地删除文件。

请告知您的建议。我在 EMR-spark 上使用 scala 并尝试删除 S3 中的文件。

Answer 1

使用java库。 Scala 与之完全兼容。

val fs = FileSystem.get(getConf())
fs.delete(new Path("path/to/file"), true) // delete file, true for recursive 

复制自here .