performance - RAMdisk 比磁盘慢？

Question

我创建的一个 python 程序是 IO 有界的。大部分时间(超过 90%)都花在一个重复约 10,000 次的循环中。在这个循环中，生成~100KB 的数据并写入临时文件；然后由另一个程序读出并统计收集的数据。这是将数据传递到第二个程序的唯一方法。

由于这是主要瓶颈，我认为将临时文件的位置从我的主 HDD 移动到(~40MB)RAMdisk(在超过 2GB 的可用 RAM 内)将大大提高该文件的 IO 速度，从而减少运行时。但是，我获得了以下结果(每个平均超过 20 次):

测试数据1:无RAMdisk - 72.7s，有RAMdisk - 78.6s

测试数据2:无RAMdisk - 223.0s，有RAMdisk - 235.1s

看起来 RAMdisk 比我的 HDD 慢。

什么可能导致这种情况？

除了使用 RAMdisk 以获得更快的文件 IO 之外，还有其他选择吗？

Answer 1

您的操作系统几乎肯定已经在缓冲/缓存磁盘写入。 RAM 磁盘的性能如此接近也就不足为奇了。

在不确切知道您在写什么或如何写的情况下，我们只能提供一般性建议。一些想法:

如果您有 2 GB RAM，您可能有一个不错的处理器，因此您可以将此数据写入具有压缩功能的文件系统。假设您的数据可以接受，那将用 I/O 操作换取 CPU 时间。

如果您要进行许多小型写入，请将它们组合起来一次写入较大的部分。 (可以看源码吗？)

您是否在使用后删除 100 KB 文件？如果你不需要它，然后删除它。否则操作系统可能会被迫将其刷新到磁盘。