gpt4 book ai didi

linux - 无法使用 "du -h"在 Linux 中找到大文件

转载 作者:可可西里 更新时间:2023-11-01 14:44:55 26 4
gpt4 key购买 nike

我的 hadoop 集群最近空间不足。我尝试清理一些日志以获得一些磁盘空间。我运行命令 df -h,它显示:

/dev/sda1        22G   20G  1.9G  92% /
/dev/sda3 1.8T 747G 960G 44% /data/1
/dev/sdb1 1.8T 755G 986G 44% /data/2
/dev/sdc1 1.8T 754G 987G 44% /data/3
/dev/sdd1 1.8T 745G 996G 43% /data/4

HDFS 位于目录 /data 下,这很好。但是根目录 / 所剩空间所剩无几。所以我使用了工具ncdu可以快速计算出dir的磁盘使用情况,它显示:

  2.9TiB [##########] /data
1.5GiB [ ] /home
800.9MiB [ ] /usr
716.3MiB [ ] /var
349.1MiB [ ] /lib
293.8MiB [ ] /opt

没有大目录。我还尝试了 du -a | 这样的命令排序-n -r | head,仍然无法找到这个不可见的目录或文件。有谁知道其他方法来找出问题所在?

谢谢

最佳答案

我终于找到了答案。

原因我删除了一个大日志文件,但没有回收文件系统中的空间,它仍在占用磁盘空间。这就是命令 du -hdf -h 的结果不匹配的原因。

解决方案

root@linux:# lsof / | grep deleted
java 15393 hdfs 114w REG 8,1 4463704 655506 /var/log/hadoop/hdfs/hadoop-hdfs-datanode-hslave.log (deleted)

命令 lsof 列出打开的文件。当我删除它时,文件被打开了。第二列显示打开该文件的进程的 PID。

root@linux:# cd /proc/15393/fd/
root@linux:# ls -l | grep deleted
l-wx------ 1 hdfs hadoop 64 Jul 25 17:55 114 -> /var/log/hadoop/hdfs/hadoop-hdfs-datanode-hslave.log (deleted)
root@linux:# > 114

键入上一行 (114) 中显示的文件描述符。现在空间被回收了。

关于linux - 无法使用 "du -h"在 Linux 中找到大文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17860257/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com