file - 很多小文件还是几个大文件？

Question

在性能和效率方面，使用大量小文件(很多我的意思是几百万)还是几个(十左右)大(几千兆字节)文件更好？假设我正在构建一个数据库(不完全正确，但重要的是它将被大量访问)。

我主要关心读取性能。我的文件系统目前是 Linux 上的 ext3(如果重要，则为 Ubuntu 服务器版)，尽管我仍然可以切换，因此不同文件系统之间的比较将非常棒。出于技术原因，我无法为此使用实际的 DBMS(因此出现问题)，因此“仅使用 MySQL”不是一个好的答案。

提前致谢，如果我需要更具体，请告诉我。

编辑: 我将存储大量相对较小的数据，这就是为什么使用大量小文件对我来说会更容易。因此，如果我继续使用一些大文件，我一次只能从中检索几 KB。我也会使用索引，所以这不是真正的问题。此外，一些数据指向其他数据片段(在大量小文件情况下指向文件，在大文件情况下指向文件中的数据位置)。

Answer 1

这里有很多假设，但就所有意图和目的而言，搜索 大文件比搜索一堆小文件要快得多。

假设您正在 查找包含在文本文件中的文本 字符串。搜索 1TB 文件 将比打开 1,000,000 MB 文件 并搜索这些文件快得多。

每个 文件打开操作都需要时间 。大文件只需打开一次。

并且，在考虑 磁盘性能 时，单个文件比大系列文件更有可能被 连续存储 。

...同样，这些只是在不了解您的特定应用程序的情况下的概括。