hadoop - Datanode处于死状态，因为使用的DFS为100％

Question

我正在使用Namenode和Datanode在同一台机器上运行的Apache Hadoop进行独立安装。

我当前正在Ubuntu 16.04上运行Apache Hadoop 2.6(无法升级)。

尽管我的系统还剩下400 GB的硬盘，但是我的Hadoop仪表板却显示100％。

为什么Apache Hadoop不占用可用的其余磁盘空间？谁能帮助我找出解决方案。

Answer 1

可能有某些原因。

您可以尝试执行以下步骤:

转到$ HADOOP_HOME / bin

./hadoop-daemon.sh --config $ HADOOP_HOME / conf启动datanode

然后，您可以尝试以下操作:

如果您的namenode和datanode目录以外的其他目录占用太多空间，则可以开始清理
您也可以运行hadoop fs -du -s -h / user / hadoop(以查看目录的用法)。

标识所有不必要的目录，然后通过运行hadoop fs -rm -R / user / hadoop / raw_data开始清理(-rm是删除-R是递归删除，使用-R时要小心)。

运行hadoop fs -expunge(立即清除垃圾，有时您需要多次运行)。

运行hadoop fs -du -s -h /(它将为您提供整个文件系统的hdfs使用率，或者您也可以运行dfsadmin -report-确认是否回收存储)

很多时候，它显示丢失的块(带有复制1)。