c++ - 明显的 CUDA 魔法

Question

我正在使用 CUDA(如果差异很重要，实际上我正在使用 pyCUDA)并对数组执行一些计算。我正在启动一个具有 320*600 线程网格的内核。在内核中，我声明了两个包含 20000 个组件的线性数组:

float test[20000]
float test2[20000]

我使用这些数组执行简单的计算，例如用常量值填充它们。关键是内核正常执行并且正确执行计算(您可以看到这用随机测试组件填充数组并将该数组从设备发送到主机) .

问题是我的NVIDIA卡只有2GB内存，分配给数组test和test2的内存总量是320*600*20000*4字节，远远超过2GB。

这段内存来自哪里？以及 CUDA 如何在每个线程中执行计算？

谢谢你的时间

Answer 1

本地/堆栈内存需求的实际大小并不像您想象的那样(对于整个网格，一次全部)，但实际上是基于@njuffa here 描述的公式.

基本上，本地/堆栈内存需求的大小取决于您正在运行的设备的最大瞬时容量，而不是网格的大小。

根据 njuffa 提供的信息，可用堆栈大小限制(每个线程)为以下较小者:

1. 最大本地内存大小(cc2.x 及更高版本为 512KB)
2. 可用 GPU 内存/(#of SM)/(每个 SM 的最大线程数)

对于您的第一个案例:

float test[20000];
float test2[20000];

总数为 160KB(每个线程)，因此我们低于每个线程 512KB 的最大限制。第二个限制呢？

GTX 650m有 2 个 cc 3.0 (kepler) SM(每个 Kepler SM 有 192 个内核)。因此，上面的第二个限制给出了，如果 所有 GPU 内存可用:

2GB/2/2048 = 512KB

(开普勒有 2048 max threads per multiprocessor )所以在这种情况下是相同的限制。但这假设所有 GPU 内存都可用。

由于您在评论中建议此配置失败:

float test[40000];
float test2[40000];

即320KB，我会得出结论，您的实际可用 GPU 内存在这种批量分配尝试的点上高于 (160/512)*100%，即高于 31% 但低于 (320/512)*100%，即低于 62.5% 2GB，所以我得出结论，在堆栈帧的批量分配请求时，您的可用 GPU 内存将小于 1.25GB。

您可以通过在有问题的内核启动之前调用 cudaGetMemInfo 来尝试查看是否属于这种情况(尽管我不知道如何在 pycuda 中执行此操作)。即使您的 GPU 以 2GB 开始，如果您从它运行显示器，您可能以接近 1.5GB 的数字开始。动态(例如 cudaMalloc)和/或静态(例如 __device__)分配在内核启动时发生在这个批量分配请求之前，都会影响可用内存。

这都是为了说明一些细节。您的问题的一般答案是，“魔法”的出现是由于 GPU 不一定同时为网格中的所有线程分配堆栈帧和本地内存。它只需要分配设备的最大瞬时容量(即 SMs * 每个 SM 的最大线程数)所需的数量，这可能是一个明显小于整个网格所需数量的数字.