c++ - 为什么我们需要使用 folly::fbvector 而不是 std::vector 和最初保留大的未提交区域的分配器？

Question

众所周知，如果我们将元素 push_back 到 std::vector<> , 如果 vector 中分​​配的整个内存都被占用，则 std::vector<>保留当前内存大小的 2 倍(分配 2 倍大小的新内存)，调整 vector 大小并将旧数据复制到新内存。

我们可以优化它，Facebook 在 folly-library 中做到了这一点(FBVector 是 Facebook 的 std::vector 的直接实现。它有特殊的优化以用于可重定位类型和 jemalloc https://github.com/facebook/folly/blob/master/folly/FBVector.h#L21)。

即什么时候vector<>没有足够的内存来 push_back 新元素，那么我们分配更多的内存但不是 2 倍(不同的次数:1.3 - 1.5 倍)

描述:https://github.com/facebook/folly/blob/master/folly/docs/FBVector.md

The graphical solver below reveals that choosing k = 1.5 (blue line) allows memory reuse after 4 reallocations, choosing k = 1.45 (red line) allows memory reuse after 3 reallocations, and choosing k = 1.3 (black line) allows reuse after only 2 reallocations.

但是为什么我们需要使用folly::fbvector<>而不是 std::vector<>使用我们的自定义分配器，它使用 VirtualAllocEx() (如此处所示:For what do I need to use VirtualAlloc/VirtualAllocEx?)，或在 linux 中相同 https://stackoverflow.com/a/2782910/1558037 ，其中:

• std::vector<>::reserve() - 最初保留大量未提交的虚拟地址区域(分配 WMA，但不在 PT 中分配任何 PTE)，例如最初分配 16 GB 的虚拟区域，每次内存不足时提交内存(分配 PTE - 分配物理面积)等于 1 x SIZE of vector
• std::vector<>::resize() - 然后只提交一批新的页面，在 PT 中只分配新的 PTE，没有重新分配已经使用的内存，也没有将数据从旧内存复制到新内存

总体:

与 folly::vector<> 相比，这种具有较大未 promise 区域的方法的优势: 我们总是只分配新的内存部分，从不复制旧数据。

folly::vector<>的优点|接近 std::vector<> : 有时我们不需要分配新内存，但总是应该将旧数据复制到新内存中。

Answer 1

这是特定于实现的。 GCC 库确实分配了两倍的空间，但 Visual C++ 却没有。我相信，它也使用 1.5，但不确定。

我相信，folly 应该与操作系统无关，您的方法是特定于 Windows/Linux 的。

如果您仔细选择类型，对象从旧 vector 移动到新 vector 应该不会那么糟糕 - 也就是说，使用 std::unique_ptr 作为数据类型。