parallel-processing - CUDA 并行 block 的最佳数量

Question

如果每个 block 中的线程数已经大于 CUDA 核心数，那么与一次启动一个 block 相比，同时启动 block 网格是否有任何性能优势？

Answer 1

我认为有；一个线程 block 被分配给一个流式多处理器 (SM)，SM 进一步将每个 block 的线程划分为 32 个线程的 warp(较新的体系结构可以处理更大的 warp)，这些线程被安排按顺序执行(或多或少)。考虑到这一点，将每个计算分成 block 以便它们占用尽可能多的 SM 会更快。构建卡支持的每个 warp 线程的倍数的 block 也意味着完整(对于 SM 使用 32 线程 warp 的情况，32 或 64 个线程而不是 40 个线程的 block )。