cuda - GPU 中的网格、 block 和线程数

Question

我是 CUDA 和 GPU 架构的新手。
我跑了这个 code .

结果我只得到了网格的尺寸。我知道每个网格都有 3 个维度，并且有很多块。并且在每个块中还有 xyz 个线程。我的问题是 GPU 中有多少个网格(或者它是独立于 GPU 的)，如果是这样，我如何找到它以及如何处理需要的线程数超过这些数量的情况？

Answer 1

网格有效地表示内核启动，即它包含要为一次特定内核启动运行的所有块(以及线程)。块和网格的尺寸有一定的限制，主要是架构特定的(一般来说，它们对于同一代的所有 GPU 模型大体相同)。您可以在 in the CUDA programming guide 中找到所有特定于设备的限制和功能的详细列表。

您如何选择块维度主要取决于在获得良好的内存访问模式(以优化合并全局内存访问的方式划分工作)、哪些线程组可以通过共享内存进行通信与实现期望值之间的权衡。占用。

虽然最大块和可能还有网格大小(尽管后者应该不是问题)因此会影响您编写和运行 CUDA 内核的方式，但是当您使用 Dynamic Parallelism 时，通常只会关注最大网格数.如果您的内核没有完全占用 GPU，驱动程序也可能与内核执行 if possible 重叠，但是，您实际上并没有明确控制它。