c++ - 如何在 64-linux 上使用 c++ 中的 new 运算符动态分配大内存，如 10 G？

Question

我需要使用 C++ new 运算符为特殊应用程序动态分配更大的 float 组，例如 10G。该代码运行在 64-ubuntu-14.04 Linux OS 上，内存为 64G。当我将内存请求设置为大约 7G 时，1879048192x4/(1024x1024x1024)=7G(float 有 4 个字节)，如下所示:

float * data; 
data = new float[1879048192];

程序运行良好，但是当我尝试将请求增加到 10G 时，我得到了一个 what():std::bad_alloc。我也尝试使用 malloc() 来代替 new 运算符:

data =(float*)malloc(1879048192*sizeof(float));

但是得到相同的结果。我的 ulimit -a 是这样的:

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 514689
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 514689
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

可能有人说可能没有10G连续内存可以分配，但是我关闭其他所有进程，总内存是64G。我想知道我是否可以获得这个更大的数组，以及如何获得。 Linux 是否限制此动态分配的最大数量？在哪里以及如何？

Answer 1

我在尝试时没有发现问题。 new 和 malloc 都有效。我的系统运行 Ubuntu 15.04，内存为 16G。

但是，如果我尝试使用内存，我发现我需要非常小心用于索引数据数组的变量类型。

例如，下面的程序可以只用 long int 和 float 做不受欢迎的事情，因为 long int 的最大值为2^31 和 10Gi 的数组长度将比 2^31 长。此外， float 一次仅将 1.0 添加到 16777216.0。对于 double ，这里可以使用 long int 索引，因为数组更短。

使用10G.c++

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char **argv){
  long long int ten = 10;
  long long int megi = 1024*1024;
  long long int gigi = 1024*megi;
  long long int asize = (ten*gigi)/((long int) sizeof(double));
  double * data = new double[asize];
  long long int i=2;
  printf("A double is %zd bytes\n", (size_t) sizeof(double));
  printf("Array size is %lli \n", asize);
  data[0]=0.0;
  data[1]=1.0;
  while (i<asize) {
    data[i]=data[i-1]+1.0;
    ++i;
  }
  printf("%lf\n", (double) data[asize-1]);
  printf("success\n");
  exit(EXIT_SUCCESS);
}

A double is 8 bytes
Array size is 1342177280 
1342177279.000000
success