cuda - 有效的最小 GPU 线程数

Question

我将在 CUDA 上并行化一些优化问题的本地搜索算法。这个问题非常难，所以实际可解决的问题的规模很小。
我担心的是，计划在一个内核中运行的线程数量不足以在 GPU 上获得任何加速(即使假设所有线程都已合并，没有银行冲突，非分支等)。
假设为 100 个线程启动了一个内核。期望从使用 GPU 中获利是否合理？如果线程数是 1000 怎么办？分析案件需要哪些额外信息？

Answer 1

100 个线程是不够的。理想情况下，您需要一个可以划分为至少与 GPU 上的多处理器 (SM) 一样多的线程 block 的大小，否则您将让处理器处于空闲状态。出于同样的原因，每个线程 block 应该有不少于 32 个线程。理想情况下，每个 block 应该有 32 个线程的小倍数(比如 96-512 个线程)，如果可能，每个 SM 应该有多个这些 block 。

至少，您应该尝试有足够的线程来覆盖 SM 的算术延迟，这意味着在 Compute Capability 2.0 GPU 上，每个 SM 需要大约 10-16 个 warp(32 个线程组)。不过，它们并不都需要来自同一个线程 block 。这意味着，例如，在具有 14 个 SM 的 Tesla M2050 GPU 上，您将需要至少 4480 个线程，分成至少 14 个 block 。

也就是说，比这更少的线程也可以提供加速——这取决于许多因素。例如，如果计算受带宽限制，并且您可以将数据保存在设备内存中，那么您可以获得加速，因为 GPU 设备内存带宽高于 CPU 内存带宽。或者，如果它受计算限制，并且有很多指令级并行性(来自同一线程的独立指令)，那么您将不需要那么多线程来隐藏延迟。后一点在 Vladimir Volkov 的 "Better performance at lower occupancy" talk 中得到了很好的描述。来自 GTC 2010。

主要是确保您使用所有的 SM:如果不这样做，您就没有使用 GPU 可以提供的所有计算性能或带宽。