cuda - 我的 GPU 上的总线程数、 block 数和网格数。

Question

对于 NVIDIA GEFORCE 940mx GPU，设备查询显示它有 3 个多处理器，每个 MP 有 128 个内核。

Number of threads per multiprocessor=2048

所以，3*2048=6144.ie。 GPU 中总共有 6144 个线程。

6144/1024=6，即。总共6 block 。经线大小为 32。

但是从这个视频https://www.youtube.com/watch?v=kzXjRFL-gjo我发现每个GPU都有线程数限制，但 block 数没有限制。

所以我对此感到困惑。我想知道

1. 我的 GPU 中总共有多少个线程？我们可以使用所有线程吗？执行程序？
2. 有多少 block 和网格？

Answer 1

看来您混淆的主要原因是混淆了两组完全不同的限制:

1. 可在 GPU 上并发运行的最大线程数和 block 数。
2. 可以为给定内核启动的线程和 block 的最大数量。

您引用的数字(每个多处理器 2048 个线程，总共三个多处理器 = 6144 个线程代表第一组限制。您在 deviceQuery 输出的屏幕截图中显示的数字:

  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)

定义给定内核启动的限制。虽然它们有些重叠，但您可以或多或少地将它们视为独立的。有关内核启动参数和 block 维度实用性的更详尽讨论，请参阅 here .