database - 统计Linux服务器上的文件夹和文件结构

Question

我需要为存储在 Linux 网络共享上的文件生成统计信息，并且希望能够在网络共享上本地运行 shell 脚本或程序以生成具有以下属性的数据点:

路径(或相对路径)|文件名 |文件大小 |创建日期 |日期已更改 |访问日期

大约有 1-200 万个文件 (8TB)，我想探索该数据集，以了解文件类型(由文件名和路径的组合确定)相对于文件总数和存储总量的组织和平衡。

问题:

1. 遍历文件系统并获取此数据的有效方法是什么？

2. 您建议使用哪种数据库来探索此类数据以及层次结构中不同级别的统计信息？

Answer 1

这就是我最终用来解决问题的方法:

1. 使用 Linux 命令 find 和 fstat 将数据集生成为纯文本文件。
2. Python 的 pandas 和 exifread 库用于丰富和分析数据集。