c - 如何实现或模拟 MADV_ZERO？

Question

我希望能够在不调用任何 io 的情况下将文件内存映射的范围归零(以便有效地顺序覆盖大文件而不引起任何磁盘读取 io)。

执行 std::memset(ptr, 0, length) 将导致从磁盘读取页面(如果它们不在内存中)，即使整个页面都被覆盖，从而完全破坏磁盘性能。

我希望能够执行类似 madvise(ptr, length, MADV_ZERO) 的操作，这会将范围清零(类似于 FALLOC_FL_ZERO_RANGE )，从而导致零填充页面错误访问指定范围时的常规 io 页面错误。

很遗憾，MADV_ZERO 不存在。即使对应标志FALLOC_FL_ZERO_RANGE确实存在于 fallocate并且可以与 fwrite 一起使用以实现类似的效果，尽管没有即时的跨进程一致性。

我猜一个可能的选择是使用 MADV_REMOVE .但是，根据我的理解，这可能会导致文件碎片并在完成时阻止其他操作，这让我不确定其长期性能影响。我对 Windows 的体验是类似的 FSCTL_SET_ZERO_DATA命令在调用时可能会导致显着的性能峰值。

我的问题是如何为共享映射实现或模拟 MADV_ZERO，最好是在用户模式下？

1。 /dev/zero/

我读过它是 suggested 简单地将 /dev/zero 读入所选范围。虽然我不太确定“读入范围”是什么意思以及如何去做。是不是像从/dev/zero到内存范围的fread？不确定如何避免访问时出现常规页面错误？

For Linux, simply read /dev/zero into the selected range. The kernel already optimises this case for anonymous mappings.

If doing it in general turns out to be too hard to implement, I
propose MADV_ZERO should have this effect: exactly like reading
/dev/zero into the range, but always efficient.

编辑:跟帖一点 further事实证明它实际上行不通。

It does not do tricks when you are dealing with a shared mapping.

2。 MADV_REMOVE

在 Linux 中实现它的一种猜测(即不在我更喜欢的用户应用程序中)可以通过简单地复制和修改 MADV_REMOVE，即 madvise_remove使用FALLOC_FL_ZERO_RANGE而不是 FALLOC_FL_PUNCH_HOLE .虽然我有点难以猜测这一点，特别是因为我不太明白 vfs_allocate 周围的代码在做什么:

// madvice.c
static long madvise_remove(...)
  ...
  /*
   * Filesystem's fallocate may need to take i_mutex.  We need to
   * explicitly grab a reference because the vma (and hence the
   * vma's reference to the file) can go away as soon as we drop
   * mmap_sem.
   */
  get_file(f); // Increment ref count.
  up_read(&current->mm->mmap_sem); // Release a read lock? Why?
  error = vfs_fallocate(f,
            FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE, // FALLOC_FL_ZERO_RANGE?
            offset, end - start);
  fput(f); // Decrement ref count.
  down_read(&current->mm->mmap_sem); // Acquire read lock. Why?
  return error;
}

Answer 1

你可能无法做你想做的事(在用户空间，不破解内核)。请注意，由于 page cache，写入零页可能不会导致物理磁盘 IO。 .

您可能想用 sparse file 中的文件空洞替换文件段(但这不是您想要的) ，但某些文件系统(例如 VFAT)没有漏洞或稀疏文件。参见 lseek(2)使用 SEEK_HOLE，ftruncate(2)