hadoop - Namenode格式不释放datanode磁盘空间

Question

关闭集群 ./stop-all.sh 后，调用 hadoop namenode -format，我看到数据节点具有相同的磁盘空间，即空间尚未释放。

这是为什么？

Answer 1

格式化NameNode前可以手动删除DataNode上的数据

rmr

Usage: hadoop fs -rmr URI [URI …]

删除的递归版本。示例:

hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://nn.example.com/user/hadoop/dir

退出代码:

成功返回 0，错误返回 -1。

---

或者

只要名称节点被格式化，数据节点就应该被重新格式化。我在这里看到两种方法:

1. 为了重新格式化集群，我们调用“start-dfs -format”或制作一个特殊脚本“format-dfs”。这将一起格式化集群组件。问题是格式化后是否应该启动集群？
2. 仅格式化名称节点。当数据节点连接到名称节点时，它会告诉他们如果发现命名空间为空且 cTime=0，则格式化它们的存储目录。这种方法的缺点是，如果错误地连接到空名称节点，我们可能会从另一个集群丢失数据节点 block 。

https://issues.apache.org/jira/browse/HDFS-107