cuda - 为什么只有一个 warp 由 cuda 中的 SM 执行？

Question

我经常在一些CUDA资料中发现如下词语:

“在任何时候，只有一个 warp 由 SM 执行”。

这里我不是很明白，既然每个SM都可以同时运行成百上千个线程，为什么一个时间点只能执行一个warp，也就是32个线程？

谢谢!

Answer 1

细节因不同代的 CUDA 硬件而异，但例如在前几代中，每个 SM 有 8 个执行单元，每个执行单元执行 4 个线程(每个线程每 4 个周期执行一条指令)。因此，您将获得 4 路 SMT，每个 SM 提供 32 个并发线程。

当然每个 GPU 有多个 SM，例如30，这意味着 30 x 32 线程扭曲 = 960 个线程在任何给定时刻执行。在此经线之上可以切换进出，因此您可以拥有比例如更多的东西。 960 个“事件”线程，尽管其中只有 960 个在任何给定时间实际执行。