c++ - mmap 与使用 new 分配的内存

Question

我有一个 BitVector 类，它可以使用 new 动态分配内存，也可以 mmap 一个文件。将它用于小文件时，性能没有明显差异，但当使用 16GB 文件时，我发现 mmap 文件比使用 new 分配的内存慢得多。 (大约慢 10 倍或更多。)请注意，我的机器有 64GB 的 RAM。

有问题的代码是从一个大磁盘文件中加载值并将它们放入布隆过滤器中，该过滤器使用我的 BitVector 类进行存储。

起初我认为这可能是因为 mmap 文件的支持与我从中加载的文件位于同一磁盘上，但这似乎不是问题所在。我把这两个文件放在两个物理上不同的磁盘上，性能没有变化。 (虽然我相信他们在同一个 Controller 上。)

然后，我使用 mlock 尝试将所有内容强制放入 RAM，但 mmap 实现仍然非常慢。

所以，暂时我只是直接分配内存。我在此比较的代码中唯一要更改的是标记 BitVector 构造函数。

请注意，为了衡量性能，我同时查看了 top 和每秒可以添加到 Bloom 过滤器中的状态数。使用 mmap 时，CPU 使用率甚至没有在 top 上注册 - 尽管 jbd2/sda1-8 开始上升(我正在运行在 Ubuntu 服务器上)，它看起来是一个处理驱动器日志记录的进程。输入和输出文件存储在两个硬盘上。

谁能解释这种巨大的性能差异？

谢谢!

Answer 1

首先，mmap 是一个系统调用或接口(interface)，用于访问系统的虚拟内存。
现在，在 linux 中(我希望你在 *nix 上工作)通过延迟加载或更常见的Copy-On-Write。

对于 mmap 也是如此，实现了这种延迟加载。

发生的情况是，当您在文件上调用 mmap 时，内核不会立即为要映射的文件分配主内存页面。
相反，它会等待程序从虚幻页面写入/读取，在哪个阶段，发生页面错误，然后相应的中断处理程序将实际加载可以保存在该页面框架中的特定文件部分(同时更新页面表，因此下次，当你读/写同一页时，它指向一个有效的框架)。

现在，您可以使用带有 mmap 等的 mlock、madvise、MAP_POPULATE 标志来控制此行为。
MAP_POPULATE 带有 mmap 标志，告诉内核在调用返回之前将文件映射到内存页面，而不是每次访问新页面时都出现页面错误。因此，在加载文件之前，函数将是阻止。

从手册页:

MAP_POPULATE (since Linux 2.5.46)              Populate (prefault) page tables for a mapping.  For a file              mapping, this causes read-ahead on the file.  Later accesses              to the mapping will not be blocked by page faults.              MAP_POPULATE is supported for private mappings only since              Linux 2.6.23.