c++ - 是否可以在 POSIX 系统上部分释放动态分配的内存？

Question

我有一个 C++ 应用程序，有时我需要将 POD 类型的大型缓冲区(例如，25 billion float s 的数组)一次保存在内存中的一个连续 block 中。这种特殊的内存组织是由应用程序使用一些对数据进行操作的 C API 驱动的。因此，不同的安排(例如 std::deque 使用的较小内存块的列表)是不可行的。

应用程序有一个以流方式在数组上运行的算法；这样想:

std::vector<float> buf(<very_large_size>);
for (size_t i = 0; i < buf.size(); ++i) do_algorithm(buf[i]);

此特定算法是已应用于数据集的早期处理步骤管道的结论。因此，一旦我的算法通过了 i -数组中的第一个元素，应用程序不再需要它。

因此，理论上，我可以释放该内存以减少应用程序在处理数据时的内存占用。然而，做一些类似于 realloc() (或 std::vector<T>::shrink_to_fit() )效率低下，因为我的应用程序必须花时间在重新分配时将未使用的数据复制到新位置。

我的应用程序在符合 POSIX 的操作系统(例如 Linux、OS X)上运行。有没有什么接口(interface)可以让操作系统只从内存块的前面释放一个指定的区域？这似乎是最有效的方法，因为我可以通知内存管理器，例如，内存块的前 2 GB 可以在我完成后回收。

Answer 1

如果您的整个缓冲区必须一次在内存中，那么您可能不会从稍后部分释放它中获得太多 yield 。

这篇文章的要点基本上是不要告诉你做你想做的事，因为如果你的应用程序的内存实际上并不需要，操作系统不会不必要地将它保留在 RAM 中。这就是“常驻内存使用”和“虚拟内存使用”的区别。 “驻留”是当前使用的内存，“虚拟”是应用程序的总内存使用量。只要您的交换分区足够大，“虚拟”内存就几乎不是问题。 [我在这里假设您的系统不会耗尽虚拟内存空间，这在 64 位应用程序中是正确的，只要您不使用数百 TB 的虚拟空间!]

如果您仍然想这样做，并且希望有一些合理的可移植性，我建议构建一个行为类似于 std::vector 的“包装器”并分配几兆字节的 block (或者可能是几千兆字节)的内存，然后是这样的:

 for (size_t i = 0; i < buf.size(); ++i) {
    do_algorithm(buf[i]);
    buf.done(i);
 }

done 方法将简单地检查 i 的值是否(一个元素)超过当前缓冲区的末尾，然后释放它。 [这应该很好地内联，并且在平均循环上产生非常少的开销——当然，假设元素实际上是按线性顺序使用的]。

如果这对您有所帮助，我会感到非常惊讶，除非 do_algorithm(buf[i]) 需要相当长的时间(肯定是几秒钟，可能是几分钟甚至几小时)。当然，只有当你真的有其他有用的东西与那个内存有关时，它才会有所帮助。即使这样，如果系统内存不足，操作系统也会通过将其换出到磁盘来回收未积极使用的内存。

换句话说，如果你分配 100GB，填充它，让它静置不动，它最终将全部在硬盘上而不是在 RAM 中。

此外，应用程序中的堆保留已释放的内存并在应用程序退出之前操作系统不会取回内存，这并不罕见 - 当然，如果仅释放较大分配的一部分，则在整个 block 被释放之前，运行时不会释放它。因此，如开头所述，我不确定这对您的应用程序有多大帮助。

与有关“调整”和“性能改进”的所有内容一样，您需要衡量和比较基准，看看它有多大帮助。