c++ - 使用 mmap 时性能下降

Question

我必须计算一个巨大的 nxn 矩阵 (n > 100000) 并以某种方式将其存储在内存中以供进一步使用。单个元素的计算非常昂贵(几 1000 次触发器和内存访问)，所以我无法即时计算它。但是我只需要计算一次，以后不需要修改它。我也不能假设我在系统上有足够的交换空间。这就是为什么我决定创建一个缓存文件并使用 mmap 将其映射到内存的原因:

int createCacheFile(std::size_t filesize, std::string const& filename){
    //create empty file
    int fileDescriptor = open(filename.c_str(), O_RDWR | O_CREAT | O_TRUNC, (mode_t)0600);
    //stretch to desired size
    lseek(fileDescriptor, filesize-1, SEEK_SET);
    return fileDescriptor;
}

//...
std::size_t n = 100000;
std::size_t fileSize = n*n*sizeof(float);
int fileDescriptor = createCacheFile(filesize,"matrix.cache");
float* memory = (float*) mmap(0, filesize, PROT_READ | PROT_WRITE, MAP_SHARED, fileDescriptor, 0);

//and now fill it...

我想比较性能并尝试了一个小的 n=10000 并将 malloc、mmap 与 MAP_ANONYMOUS 和上述实现进行了比较。对于这个 n，矩阵完全适合 RAM。虽然 malloc 和 MAP_ANONYMOUS 给出了非常相似的结果，但在计算由文件支持的矩阵时，我得到大约 10 倍的惩罚。似乎该程序会定期被内核停止，以便它可以将内容安全地写入文件。我尝试在我已经计算出的矩阵部分上使用 msync 和 mprotect 来解决这个问题，以提示内核它可以在不必停止程序的情况下编写这些部分，但没有任何帮助。

有办法解决这个问题吗？

Answer 1

您还可以使用 madvise(2)系统调用通知内核不太有用的页面(可能使用 MADV_SEQUENTIAL 或 MADV_DONTNEED ...)。也许是 posix_fadvise(2)系统调用可能对文件段有帮助。最终readahead(2) (在另一个线程中，因为它正在阻塞)也可能有帮助。

并且该文件可能位于一个快速文件系统中，也许是一个 tmpfs ....

也许在快速磁盘 (SSD) 上交换也可能有用。 swapon(2)系统调用(和 swapon 命令)。