java - 如何存储大量小文件

Question

我有数百万个文件，最大大小为 1MB。我需要将它们存储在文件系统上，并能够从我的 Java 应用程序中读取它们。我有点担心额外的元数据、iNode 和性能的成本。

我不想为此运行外部服务，而是想要嵌入到 JVM 中的东西。

在我重新发明轮子之前，这个问题已经解决了吗？

我想象在某个地方会有一个 FileSystem 实现，它将在一个文件中存储多个文件 - 但我所有的谷歌搜索结果都是 Google 的内存中实现。为任何异步的事情添加额外的好处，因为我的服务的其余部分是......

Answer 1

我不得不多次存储数百万个文件，并且我总是能够将文件存储在文件夹层次结构下。

名为abcdefghijk0123.extension的文件将存储在文件夹结构ab/cd/ef/gh/ij/abcdefghijk0123.extension内。通过这种方式，您可以存储大量文件，但不能将所有文件都存储在同一个文件夹中。设置文件夹结构可以帮助您处理文件夹的最大文件数。