cuda - NVIDIA GPU的任务调度

Question

我对nvidia GPU的任务调度有些疑惑。

(1)如果一个 block (CTA)中的线程束已经完成，但仍有其他线程在运行，这个线程会等待其他线程完成吗？换句话说，当所有线程都完成时， block (CTA)中的所有线程都会释放它们的资源，可以吗？我认为这一点应该是正确的，因为 block 中的线程共享共享内存和其他资源，这些资源在 CTA 大小管理器中分配。

(2)如果一个 block (CTA)中的所有线程都挂起一些长延迟，例如全局内存访问？一个新的 CTA 线程会占用资源，哪种方法像 CPU？换句话说，如果一个 block (CTA)已经被调度到一个 SM(流处理器)，它是否会占用资源直到它完成？

如果有人向我推荐一些有关 GPU 架构的书籍或文章，我将不胜感激。谢谢!

Answer 1

只有当 SM 有足够的资源用于线程 block (共享内存、warp、寄存器、屏障等)时，计算工作分配器才会在 SM 上调度线程 block (CTA)。分配诸如共享内存之类的线程 block 级资源。分配为线程 block 中的所有线程创建了足够的扭曲。资源管理器将warp 循环分配给SM 子分区。每个 SM 子分区都包含一个 warp 调度程序、寄存器文件和执行单元。一旦一个 warp 被分配给一个子分区，它将保留在子分区上，直到它完成或被上下文切换(Pascal 架构)抢占。在上下文切换恢复时，warp 将恢复到相同的 SM 相同的 warp-id。

当 warp 中的所有线程都完成时，warp 调度程序等待 warp 发出的所有未完成的指令完成，然后资源管理器释放 warp 级别的资源，包括 warp-id 和 register 文件。

当线程 block 中的所有 warp 完成时， block 级资源被释放，并且 SM 通知 Compute Work Distributor 该 block 已完成。

一旦一个 warp 被分配给一个子分区并且所有的资源都被分配，这个 warp 被认为是活跃的，这意味着 warp 调度程序正在积极地跟踪这个 warp 的状态。在每个周期，warp 调度器确定哪些事件的 warp 被停止，哪些有资格发出指令。 warp 调度程序选择最高优先级的合格 warp 并从 warp 发出 1-2 个连续指令。双重问题的规则特定于每个架构。如果 warp 发出内存加载，它可以继续执行独立指令，直到它到达依赖指令。然后，warp 将报告停止，直到加载完成。对于从属数学指令也是如此。 SM 架构旨在通过在 warp 之间切换每个周期来隐藏 ALU 和内存延迟。

这个答案没有使用术语 CUDA 核心，因为这引入了一个不正确的心智模型。 CUDA 内核是流水线单精度浮点/整数执行单元。问题率和依赖延迟因每个架构而异。每个 SM 子分区和 SM 都有其他执行单元，包括加载/存储单元、 double 浮点单元、半精度浮点单元、分支单元等。