hadoop - HDFS/tmp 文件系统正在快速填满，预计会导致中断

Question

在我们的 Hadoop 集群(Cloudera 发行版)中，我们最近发现 Hive Job 是由用户在“/tmp”位置创建 160 TB 的文件启动的，它几乎耗尽了剩余的 HDFS 空间并即将导致中断。后来我们排除故障并终止特定作业，因为我们无法联系到启动该作业的用户。

所以现在我的问题是，如果有人创建了大文件或者我们需要限制使用 HDFA 配额的用户，我们能否为“/tmp”位置设置警报。如果您有任何其他建议，请分享。

Answer 1

您可以使用以下一组命令设置和管理目录的配额

    hdfs dfsadmin -setQuota <N> <directory>...<directory>

    hdfs dfsadmin -clrQuota <directory>...<directory>

    hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>

    hdfs dfsadmin -clrSpaceQuota <directory>...<directory>

*where N is the Number of bytes you want to set

Reference Link

Helpful article

希望这对您的场景有所帮助。