c - 尽管有足够的可用内存 (32 GB)，但在 malloc() 12 GB 内存后收到 "segmentation fault:11"

Question

我有一个程序需要分配2个15亿长度的整数数组。这是一个编码挑战( https://projecteuler.net/problem=282 )，并且没有办法使用如此大的数组(如果有，请不要告诉我；我应该自己找到答案)。它们必须是 32 位整数，因为它们的值在 0 到 15 亿之间。 30 亿个整数占用大约 12 GB，因此我决定使用具有 32 GB 内存的 EC2 r5.xlarge 实例，但我的 C 代码中出现段错误错误。当我在本地测试代码时，它适用于较小的数组，但在全长版本上收到 segmentation failure:11 错误。

我在网上查看过，并尝试使用 ulimit -m 15000000 和 ulimit -v 15000000 更改 ulimit 中的设置(这两个数字以千字节为单位)。这些已经设置为无限制，所以我认为这没有任何作用。

C 代码

#include <stdio.h>
#include <stdlib.h>
#include <math.h>
int main(int argc, char* argv[]) {
    int magic = pow(14, 8); // 14**8 is 1,475,789,056
    // more lines
    int* a = malloc(4 * magic);
    int* b = malloc(4 * magic);
    if (a == NULL || b == NULL) {
    printf("malloc failed\n");
    exit(0);
    }
    for (int i = 0; i < magic; i++) a[i] = (2 * i + 3) % magic;
    // some more lines

我在 EC2 实例上的 C 代码中收到段错误错误。当我在本地测试代码时，它会打印出较小长度数组的正确值，但收到 segmentation failure:11 错误。

Answer 1

您的魔数(Magic Number)等于 1,475,789,056，正好适合有符号的 32 位整数。

但是，4 * magic 是 5,903,156,224，它没有，并且溢出!

从技术上讲，C 中的有符号整数溢出是未定义的行为，因此此时任何事情都可能发生。但通常发生的情况是该值被简单地截断为 32 位，即 1,608,188,928，这就是您最终为每个数组分配的字节数。

然后你的 for 循环尝试将 1,475,789,056 个四字节整数写入该缓冲区，超出数组末尾并最终出现段错误(可能是在首先损坏内存中的其他一些值之后) .

<小时/>

要解决此问题，请将您的 magic 数字存储在 64 位变量中，或者至少在将其传递给 malloc() 之前将其转换为 64 位类型。我建议使用 size_t，因为这是类型 actually intended for storing array sizes ，以及 malloc() 的类型被定义为接受。

当然，一般来说，也不能保证 size_t 的长度超过 32 位，但如果不是，那么你就运气不好了，因为你使用的是 32 位位指针，并且无论您拥有多少总 RAM，都无法在单个进程中分配超过 4 GiB 的内存(甚至可能不是)。