c - 大型 malloc 上的系统 malloc 与 DLMalloc

Question

我已经有一段时间没有编码了，所以先打扰一下。我有这个奇怪的问题。我正在尝试一次性 malloc 8GB，我计划稍后使用 TLSF 管理该堆。也就是说，我想完全避免在我的应用程序中进行 mallocing，只是在开始时获取一个大的 glob，然后在最后释放它。不过，这里有一个特点。直到现在，我一直在我的程序中使用 dlmalloc。将其连接起来，一切顺利。但是，现在当我尝试一次 malloc 8GB 并在 dlmalloc 中链接以使用它时，我在运行它时在 OSX 上出现段错误 11，没有 dlmalloc 一切顺利。我使用 gcc 还是 clang 都没关系。系统虽然没有 8GB 的​​ RAM，但它有 4GB。有趣的是，同样的事情发生在具有 32GB RAM 的 Windows 机器和具有 16GB RAM 的 Ubuntu 机器上。使用系统 malloc，一切正常，分配通过并通过分配的内存进行简单迭代，这在所有三个系统上都按预期工作。但是，当我在 dlmalloc 中链接时，它失败了。尝试使用 malloc 和 dlmalloc 函数调用。

分配本身没什么特别的，普通的 c99。

[...]
size_t bytes = 1024LL*1024LL*1024LL*8LL;
unsigned long *m = (unsigned long*)malloc(bytes);
[...]

我对这里的几件事感到困惑。为什么即使系统没有 4GB 或 RAM，系统 malloc 也会给我 8GB malloc，这些是虚拟页面吗？为什么 dlmalloc 不做同样的事情？我知道可能没有连续的 8GB RAM block 可以分配，但是为什么会出现段错误，为什么不是空指针？

即使我不确定系统是否有那么多 RAM，是否有一个可行的健壮(希望是平台中立的)解决方案来一次性从 malloc 获得那么多的 RAM？

编辑:程序是 64 位的，我运行的操作系统也是 64 位的。

编辑2:所以我又玩了一会儿。事实证明，如果我将分配分解为 1GB 的 block ，即 8 个单独的 malloc，那么它可以与 dlmalloc 一起使用。因此，这似乎是连续范围分配的问题，其中 dlmalloc 可能仅在存在连续 block 时才尝试分配。这使我的问题更加难以表述。是否有某种确定的方法来跨平台使用或不使用 dlmalloc 来获取内存块的大小，并且如果没有剩余物理内存(可以交换，只要它不失败)就不会失败。还有可能以跨平台的方式判断 malloc 是在 ram 还是 swap 中。

Answer 1

即使不能给出明确的答案，我也只会给你一些看法。当我看到你试图分配 8GB 的​​连续 RAM 时，我感到畏缩。是的，对于 64 位计算和所有这些，这可能是“合法的”，但是在普通机器上，您可能会遇到很多边缘情况，32 位遗留代码阻塞在 64 位大小上，并且获得足够大的内存块来完成这项工作只是简单的可用性问题。如果您想尝试这种事情，也许可以尝试 malloc 单个 block ，如果失败，则使用较小的 block 。但这在某种程度上违背了 1 block 系统的目的。也许在操作系统中存在某种“页面大小”，您可以将您的 malloc 大小链接到 - 以帮助提高性能和简单地获取您希望的内存量的能力。

在游戏机上，这种内存管理方法有些常见 - 在启动时从操作系统分配 1 个缓冲区，尽可能大，然后将您自己的内存管理器放在那里以避免操作系统开销和可能的劣质分配代码。它还允许人们在不存在虚拟内存的此类系统上更好地控制内存碎片。但是在这些系统上，您还可以预先知道您有多少 RAM。

有没有办法以独立于平台的方式查看内存是物理内存还是虚拟内存？我不这么认为，但也许其他人可以对此给出一个很好的答案，我将编辑这部分。

所以不是 100% 的答案，而是一些随机的想法可以提供帮助，我内心想知道你在做什么，想要一个 block 中有 8GB RAM，而听起来多个 block 可以正常工作。 :)