java - 如何在每个目录存储超过 1000 个文件的情况下在磁盘上传播/散列多个文件？

Question

我需要生成大量由整数索引的文件。例如，假设 int i 的范围从 0 到 10000，生成的文件将是:f0.xml、f1.xml、... f10000.xml

但是，对于每个文件夹超过 1000 个文件，文件系统性能开始下降。

我想在 i 的值上使用“散列”或“展开”函数将文件存储在目录中。此功能将在单个目录中存储不超过 1000 个文件(或文件夹)，但只会根据需要创建目录。

我的问题有什么想法或开源解决方案吗？谢谢。

Answer 1

假设您按从 00000000 到 99999999 的数字生成文件名。您可以使用最后 3 位数字作为文件名，即您的目录看起来像 00000/000.xml 到 99999/999.xml

注意:除非您有 SSD，否则如果您在任何文件系统上有大量文件，您的性能将会降低。 HDD 上的典型文件访问时间约为 8 毫秒。