c++ - 限制用于 mmap 的缓冲区缓存

Question

我有一个数据结构，我想修改它以按需分页。 mmap 似乎是运行一些初始实验的简单方法。但是，我想限制 mmap 使用的缓冲区缓存量。机器有足够的内存将整个数据结构分页到缓存中，但出于测试原因(以及一些生产原因)我不想让它这样做。

有没有办法限制 mmap 使用的缓冲区缓存量？

或者，一个 mmap 替代方案也可以实现类似的功能，但仍会限制内存使用。

Answer 1

据我了解，这是不可能的。内存映射由操作系统控制。内核将决定如何以最佳方式使用可用内存，但它会综合考虑系统。我不知道是否支持进程级别的缓存配额(至少，我没有在 Linux 或 BSD 中看到此类 API)。

有madvise给内核提示，但它不支持限制用于一个进程的缓存。你可以给它类似 MADV_DONTNEED 的提示，这将减少其他应用程序缓存的压力，但我认为它弊大于利，因为它很可能会降低缓存效率，这将导致整个系统的 IO 负载增加。

我只看到两种选择。一是尝试在OS层面解决问题，二是在应用层面解决问题。

在操作系统级别，我看到两个选项:

1. 您可以运行虚拟机，但这很可能不是您想要的。我还希望它不会提高整体系统性能。尽管如此，这至少是一种定义内存消耗上限的方法。
2. Docker 是我想到的另一个想法，它也在操作系统级别运行，但据我所知，它不支持定义缓存配额。我认为它不会起作用。

只剩下一个选择，那就是查看应用程序级别。您可以使用显式文件系统操作，而不是使用内存映射文件。如果您需要完全控制缓冲区，我认为这是唯一实用的选择。它比内存映射的工作量更大，也不能保证性能更好。

如果您想保留内存映射，您也可以只映射内存中的部分文件，并在超出内存配额时取消映射其他部分。它也存在与显式文件 IO 操作相同的问题(更多的实现工作和非平凡的调整以找到一个好的缓存策略)。

话虽如此，您可能会质疑限制高速缓存内存使用的要求。我希望内核在分配内存资源方面做得很好。至少，它可能会比我草拟的解决方案更好。 (显式文件 IO 加上内部缓存可能很快，但实现和调优并非易事。这里是权衡的比较:mmap() vs. reading blocks。)

在测试期间，您可以使用 ionice -c 3 和 nice -n 20 运行应用程序，以在一定程度上减少对其他生产应用程序的影响。还有一个工具叫做 nocache .我从未使用过它，但在阅读它的文档时，它似乎与您的问题有些相关。