hadoop - HDFS如何删除 block ？

Question

我是 Hadoop 新手。

部署后，我运行了基准测试，$hadoop jar hadoop-0.20.0-test.jar TestDFSIO -write -nrFiles 1000 -fileSize 10。

完成工作后，我查看了集群摘要，假设有 1000 个文件和目录，1000 个 block = 总共 2000 个。

然后我使用shell cmd删除相应的文件。那么 Cluster Summary 是:0 个文件和目录 1000 个 block = 总共 1000 个。

我认为删除后 Cluster Summary 中应该没有文件和 block 。但实际情况是:在我问这个问题之前是 1000 个区 block 。但是现在有 0 个 block 。

这怎么会发生？

Answer 1

Delete 只是指示 NameNode 从其元数据存储中删除文件。提交后，NameNode 将联系托管 block 的 Datanode，并指示它们删除 block 。

数据节点上的实际文件删除可能需要几秒钟(取决于数据节点的数量、 block 大小和要删除的 block 的数量)，然后数据节点将报告回 nameNode，此时它将更新全局 block 数。正如您所观察到的，片刻之后，区 block 总数将恢复为 0