Hadoop:永久删除文件所需的时间？

Question

我有一个包含大约 300 GB 数据的目录，该目录可能也被复制了 3 次。

我刚刚使用 hadoop dfs -rmr 删除了文件，我想知道 Hadoop 删除文件的过程是什么？几秒钟后我收到一条消息说它已被删除，但实际空间需要多长时间才能清理 300GB 和复制的碎片？

我使用的是 Hadoop 版本 0.20.2

谢谢

Answer 1

hadoop 文件系统处理删除操作的方式与文件传输到 HDFS 时创建 block 的方式相同。 hadoop dfs -rmr shell 命令由名称节点接收，名称节点保存关于文件分配 block 的元数据。删除操作被通知到相应的数据节点，然后删除 block 及其在磁盘上的复制​​。

如果在非 HDFS 上的一个简单文件上运行该操作将花费大量时间，但由于我们处于分布式环境中，所涉及的时间减少了很多倍，比如一个 1000 GB 的文件在单个非 HDFS 上需要 100 秒HDFS，在 10 个数据节点 HDFS 上需要 10 秒。希望对您有所帮助。