cuda - 硬件 warp 调度程序如何形成和处理 warp？

Question

我的问题是关于 warp 和调度的。我在这里使用 NVIDIA 费米术语。我的观察如下，它们正确吗？

一个。同一 warp 中的线程执行相同的指令。每个 warp 包含 32 个线程。

根据费米白皮书:“费米的双经线调度器选择两个经线，并发出一个从每个 warp 到一组 16 个内核、16 个加载/存储单元或 4 个 SFU 的指令。 "

从这里开始，我认为一个 warp(32 个线程)被调度了两次，因为 32 个内核中的 16 个被组合在一起。每个调度器在一个周期内将一半的 warp 发送到 16 个内核，总而言之，两个调度器在一个周期内将两个 warp-halves 发送到两个 16 核调度组中。换句话说，在这个费米架构中，一个 warp 需要被调度两次，一半一半。如果一个 warp 只包含 SFU 操作，那么这个 warp 需要发出 8 次(32/4)，因为一个 SM 中只有 4 个 SFPU。

B.当启动大量线程(比如一维数组，320 个线程)时，连续的线程将自动分组为 10 个线程束，每个线程束有 32 个线程。因此，如果所有线程都在做相同的工作，它们将执行完全相同的指令。那么在这种情况下，所有 warp 总是携带相同的指令。

问题:Q1。哪一部分处理线程分组(成束)？软件还是硬件？如果是硬件，它是 warp 调度程序吗？以及硬件 warp 调度器是如何实现和工作的？

Q2。如果我有 64 个线程，线程 0-15 和 32-47 正在执行相同的指令，而 16-31 和 48-63 执行另一条指令，调度程序是否足够聪明，可以将不连续的线程(具有相同的指令)分组到同一个 warp 中(即，将线程 0-15 和 32-47 分组到同一个 warp，并将线程 16-31 和 48-63 分组到另一个 warp)？

Q3。 warp 大小 (32) 大于调度组大小(16 核)有什么意义？(这是一个硬件问题)因为在这种情况下(Fermi)，无论如何都会将 warp 调度两次(在两个周期内)。如果一个 warp 是 16 宽，那么会简单地调度两个 warp(也是两个周期)，这似乎和前面的情况一样。我想知道这个组织是否出于性能考虑。

我现在可以想象的是:可以保证同一个 warp 中的线程同步，这有时很有用，或者其他资源(如寄存器和内存)以 warp 大小为基础进行组织。我不确定这是否正确。

Answer 1

纠正一些误解:

A. ...From here, I think a warp(32 threads) is scheduled twice since 16 cores out of 32 are grouped together.

当向一组 16 个核心发出 warp 指令时，整个 warp 都会执行该指令，因为核心被计时两次(Fermi 的“hotclock”)，因此每个核心实际上在一个周期内执行两个线程的计算(= 2 个热点)。调度 warp 指令时，整个 warp 都会得到服务。它不需要被安排两次。

B. ...Therefore, if all threads are doing the same work, they will execute exactly the same instruction. Then all warps are always carrying the same instruction in this case.

的确，一个 block 中的所有线程(以及所有线程束)都从相同的指令流执行，但它们不一定执行相同的指令。当然，warp 中的所有线程在任何给定时间都在执行相同的指令。但是 warp 彼此独立执行，因此 block 内的不同 warp 可能在任何给定时间执行来自流的不同指令。 Fermi whitepaper 第 10 页的图表使这一点显而易见。

Q1: Which part handles the threads grouping (into warps)? software or hardware?

这是由硬件完成的，如 hardware implementation 中所述编程指南的部分:“将 block 划分为 warp 的方式始终相同；每个 warp 包含连续的、增加的线程 ID 的线程，第一个 warp 包含线程 0。Thread Hierarchy 描述了线程 ID 与线程索引的关系 block 。”

and how the hardware warp scheduler is implemented and work?

我认为这在任何地方都没有正式记录。 Greg Smith 对此提供了各种解释，您可能希望搜索“user:124092 scheduler”或类似的搜索，以阅读他的一些评论。

Q2. If I have 64 threads, threads 0-15 and 32-47 are executing the same instruction while 16-31 and 48-63 executes another instruction, is the scheduler smart enough to group nonconsecutive threads( with the same instruction) into the same warp (i.e., to group threads 0-15 and 32-47 into the same warp, and to group threads 16-31 and 48-63 into another warp)?

这个问题是基于前面概述的误解。将线程分组到 warp 中不是动态的；它在 threadblock 启动时是固定的，并且遵循上面对 Q1 的回答中描述的方法。此外，线程 0-15 永远不会与 16-31 以外的任何线程一起调度，因为 0-31 包含一个 warp，它在 Fermi 上对于调度目的是不可分割的。

Q3. What's the point to have a warp size(32) larger than the scheduling group size(16 cores)?

同样，我认为这个问题是基于以前的误解。用于为 warp 提供资源的硬件单元在某些功能级别可能存在 16 个单元(或其他数量)，但从操作级别来看，warp 被安排为 32 个线程，每条指令为整个扭曲安排，并在一定数量的费米热时钟内一起执行。