c - 如何确定内存密集型 CUDA 应用程序的最大可能线程和​​ block ？

Question

我正在尝试为我的应用程序找到线程和 block 的最佳值。因此，我编写了一个小程序来运行线程数、 block 大小和网格大小的可能组合。我正在处理的任务是不可并行化的，因此每个线程都在计算其独特的问题，并且需要对其独特的全局内存块进行读写访问。我还必须增加 cudaLimitStackSize 才能让我的内核运行。当我尝试计算一次可以运行的最大线程数时遇到了问题。我改进的方法(感谢 Robert Crovella)是

threads = (freememory*0.9)/memoryperthread

其中 freememory 是从 cudaMemGetInfo 获取的，memoryperthread 是一个线程的全局内存需求。即使我减少常数因子，我仍然遇到“未指定的启动失败”，我无法调试，因为调试器失败并显示 错误:CUDA 调试器 API 报告的内部错误(错误 = 1)。无法进一步调试应用程序。。根据设置此错误当我尝试不同的 block 大小时，我也遇到了问题。任何大于 512 个线程的 block 大小都会产生“启动时请求的资源过多”。正如 Robert Crovella 所指出的，这可能是我的内核占用了很多寄存器(63，如 -Xptxas="-v"所报告的)的问题。由于 block 可以分布在多个 multiProcessorCount 上，我肯定找不到任何会突然达到 1024 block 大小的限制。

我的代码对于线程和 block 的小值运行良好，但我似乎无法计算我可以同时运行的最大数量。有什么方法可以正确计算这些值，还是我需要根据经验来计算？

我知道内存繁重的任务不是 CUDA 的最佳选择。我的设备是具有 Compute Capability 2.0 的 GTX480。现在我坚持使用 CUDA Driver Version = 6.5, CUDA Runtime Version = 5.0。我确实使用 -gencode arch=compute_20,code=sm_20 进行编译以增强计算能力。

更新:将运行时更新到 6.5 后，上述大部分问题都消失了。我将按原样保留这篇文章，因为我提到了我遇到的错误，人们可能会在搜索他们的错误时偶然发现它。为了解决大块大小的问题，我不得不减少每个线程的寄存器数 (-maxrregcount)。

Answer 1

threads = totalmemory/memoryperthread

如果您对 memoryperthread 的计算是准确的，这将不起作用，因为 totalmemory 通常不是全部可用。由于 CUDA 运行时开销、分配粒度和其他因素，您实际可以分配的数量少于此数量。所以这会以某种方式失败，但由于您没有提供任何代码，因此无法准确说明如何失败。如果您正在从主机进行所有这些分配，例如通过 cudaMalloc，那么我预计会出现错误，而不是内核未指定的启动失败。但是，如果您在内核中执行 malloc 或 new，那么您可能正在尝试使用返回的空指针(表示分配失败 - 即内存不足)，这可能会导致未指定的启动失败。

having a blocksize larger than 512 threads yields "too many resources requested for launch".

这可能是因为您没有为 cc2.0 设备进行编译，或者您的内核每个线程使用的寄存器多于可支持的寄存器。无论如何，这肯定是一个可以解决的问题。

So how would one properly calculate the maximum possible threads and blocks for a kernel?

通常，全局内存需求是问题的函数，而不是内核大小。如果您的全局内存需求随着内核大小的增加而增加，那么可能有一些比率可以根据 cudaMemGetInfo 报告的“可用内存”来确定(例如 90%)，它应该提供合理的安全操作。但总的来说，如果一个程序能够容忍分配失败，那么它就是设计良好的，你至少应该在主机代码和设备代码上明确检查这些，而不是依赖于“未指定的启动失败”来告诉你某些东西已经消失了错误的。这可能是由内存使用引发的任何类型的副作用错误，并且可能不是直接由于分配失败。

我建议追踪这些问题。调试问题，找到问题的根源。我认为正确的解决方案随后就会出现。