c++ - 在 64 位 Linux 上强制内存分配从较高地址 (>4GB) 分配

Question

这是我想做的:我有一个为 64 位 Linux 构建的库。然后我创建了一个链接该库的应用程序。我想确保在运行应用程序时，从库中分配的内存始终位于较高位置 (>4GB)。

在 Windows 上，出于测试目的，用户可以强制分配从高地址在低地址之前分配，在调用 VirtualAlloc 时指定 MEM_TOP_DOWN 或将以下注册表值设置为 0x100000:

HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\Session Manager\Memory Management\AllocationPreference

不知道Linux上有没有类似的策略。我知道 Linux 内存管理与 Window 不同，但我发现了一些线索，例如使用 mmap() 或链接器脚本。但是我一直无法实现目标。谁能提供更多信息？

#include <sys/mman.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

#define handle_error(msg) \
  do { perror(msg); exit(EXIT_FAILURE); } while (0)

int main()
{
  void *addr1=0, *addr2=0;
  long sz = sysconf(_SC_PAGE_SIZE); // get page size
  size_t length = sz*1000*1000; // 1,000,000 pages
  int fd = -1;

  printf("page size = %ld\n", sz);

  // find some available address
  int *p = (int*)malloc(sizeof(int));
  long start = (long)p + sizeof(int);
  free(p); // free it anyway

  start += (sz-(start % sz)); // page alignment
  printf("start = 0x%lx\n", start);

  // mmap fixed
  addr1 = mmap((void*)start, length, PROT_NONE,
               MAP_PRIVATE|MAP_NORESERVE|MAP_ANONYMOUS|MAP_FIXED, fd, 0);
  if (addr1 == MAP_FAILED)
    handle_error("mmap");
  printf("first map: %tx\n", addr1);
  //msync(addr1, length, 0);

  // another mmap
  addr2 = mmap(NULL, sz*10, PROT_NONE,
               MAP_ANONYMOUS|MAP_PRIVATE, fd, 0);
  if (addr2 == MAP_FAILED)
    handle_error("mmap");
  printf("second map: 0x%tx\n", addr2);

  // test whether the memory is still available
  p = (int*)malloc(sizeof(int)*10);
  printf("allocated address: 0x%tx\n", p);

  return 0;
}

输出:

page size = 4096
start = 0x1d77000
first map: 1d77000
second map: 0x7f5f26c2f000
allocated address: 0x1d76030

Answer 1

我不明白为什么要这样做(避免 mmap 在前 4 GB 中给出一些地址)。

但是，您可以在程序的早期阶段 - 例如main 的开始，甚至一些构造函数调用 mmap(2)在多个内存段上使用 MAP_FIXED 和 MAP_NORESERVE 来实现您的目标；因此您将确保所有低于 4G 的地址空间都将被“填充”-要么通过您程序的预先存在的段，要么通过您对 mmap 的此类调用。

但是，您的库(可以间接 dlopen-ed)可能会在程序启动很久之后启动。

一旦在地址空间中使用了前 4 GB，大多数普通的 mmap 调用(例如那些由 malloc 完成的调用)就会转到外面。

当然，您应该mmap在第一个malloc(可能调用mmap或 sbrk);并且你应该处理现有的内存段(也许你可以通过解析 /proc/self/maps 来获取它们)，因为你需要在你的 mmap MAP_FIXED|MAP_NORESERVE。

您还可以定义自己的malloc。也许您可以使用 MAP_NORESERVE 来 mmap 一个巨大的区域(例如 1 TB)，并拥有您自己的 malloc 仅使用内部地址(通过 mmap-ing 再次出现)。

^{我认为您正在尝试解决错误的问题。执行我建议的操作可能会很棘手……我认为没有正当理由避免使用前 4 GB 的地址。}

顺便说一句，在 Linux 上查找内存泄漏的好工具是 valgrind .