hadoop - 由于安全模式打开，无法从 dfs 中删除文件

Question

我正在使用 cloudera 的 VM 来运行 hadoop。 99% 的 dfs 空间已用完。所以我需要删除文件，但是删除文件需要关闭安全模式。

我尝试使用以下命令关闭安全模式，

sudo -u hdfs hdfs dfsadmin -safemode leave

它说它已被关闭，但由于空间不足，它会自动将其打开。当我尝试删除文件时，它说由于安全模式已开启，您无法删除文件。

SafeModeException: Cannot create directory /user/cloudera/.Trash/Current. Name node is in safe mode. Resources are low on NN. Please add or free up more resources then turn off safe mode manually. NOTE: If you turn off safe mode before adding resources, the NN will immediately return to safe mode.. (error 403)

要删除文件，需要关闭安全模式。要关闭安全模式，我需要释放空间!那么如何清理文件以提供更多空间呢？

Answer 1

您可以尝试通过暂时将以下选项设置为较低的值来降低触发安全模式的阈值:

dfs.safemode.threshold.pct
dfs.namenode.safemode.threshold-pct

此外，NameNode 可能不会在离开后立即返回安全模式。就我而言，我能够通过将 hdfs dfsadmin -safemode leave 和 hdfs dfs -rm 命令链接在一起来清理内容，例如

sudo su hdfs
hdfs dfsadmin -safemode leave; hdfs dfs -rm -skipTrash /path/to/stuff/to/delete