python - 如何查找旧的大文件并为包含这些文件的目录生成指标

Question

我是一名在设计部门工作的硬件工程师，我们经常会生成包含大量数据(大文件和包含大量小文件的目录)的目录。这些数据可能会在磁盘上停留很长一段时间，我正在寻找一种指标来识别其中包含大量旧数据的目录作为删除的候选目录。

我决定的指标是文件大小(以 M 为单位)* 文件使用时间(以天为单位)。

我有一个可行的解决方案，但它是 shell 脚本和 c 的组合，既不可维护，又不漂亮也不优雅。

我正在寻找改进脚本的想法。

基本思想是使用find生成所有文件的原始数据

find $Dir -type f -exec stat -c "%s,%Y,%n" {} \; > rpt3

然后在 C 中处理该文件以获得格式为 rpt3b 的文件

公制、年龄、大小、文件名

指标是年龄*尺寸

年龄是文件被修改后的天数

Size 是文件的大小，以 M 为单位

FileName 是文件名。

然后我处理这个文件来总结每个目录的指标

for Directory in $( find /projects/solaris/implementation -maxdepth 4 -type d ) ; do
  Total=`grep $Directory/ rpt3a | sed -e 's?,.*??' | paste -sd+ - | bc`
  echo $Total,$Directory >> rpt3c
done

因此输出类似于 du，但报告的是指标而不是磁盘上的大小。

我可以将最后一步拉入 C 程序，但我正在寻找一种在一个环境中理想工作的解决方案(不一定是 C，我愿意学习新语言)。

提前致谢

Answer 1

您可以在 Perl 中完成所有工作。 Perl 带有两个运算符-M 和-s，它们分别是文件的天数和文件的大小(字节)。这里的 Age 是脚本开始时间减去文件修改时间，也是模仿 find 命令的 File::Find 模块。

#!perl
use strict;
use warnings;

use File::Find;

find(\&process, shift); # shift the start directory off @ARGV

sub process {
    # Lots of use of the magic _ file handle so we don't keep having to call stat()
    print( (-M _) * (-s _), ' ', -M _, ' ', -s _, " $File::Find::name\n")
        if -f $_;
}