memory - cuda 'memory bound' vs 'latency bound' vs 'bandwidth bound' vs 'compute bound'

Question

在许多在线资源中，可以找到“内存”、“带宽”、“延迟”绑定(bind)内核的不同用法。在我看来，作者有时会使用他们自己对这些术语的定义，我认为这对某人做出明确区分非常有益。

据我了解:带宽绑定(bind)内核在访问全局内存方面接近设备的物理限制。例如。在 M2090 设备上，应用程序使用 177GB/s 中的 170GB/s。

延迟受限的内核是其主要的停顿原因是由于内存提取。所以我们并没有使全局内存总线饱和，但仍然需要等待数据进入内核。

计算绑定(bind)内核是计算在内核时间上占主导地位的内核，假设为内核提供内存没有问题，并且算术和延迟有很好的重叠。

如果我做对了，“内存绑定(bind)”内核会是什么？是否有歧义，如果有，我们是否应该将对话限制在上述三个术语上？

谢谢!

Answer 1

what would a 'memory bound' kernel be?

内存限制是指代码受内存访问限制的一般情况，即。它包括受延迟限制的代码和受带宽限制的代码。您已经正确定义了几乎所有其他术语。

Is there ambiguity, and if yes, should we limit the conversation to the three above terms?

我认为没有太多歧义(无论如何，你已经清楚地划分了 4 个术语中的 3 个)，而且你不会在 SO 问题/答案中强加秩序。