c++ - 如何确定我的 GPU 是否进行 16/32/64 位算术运算？

Question

我正在尝试查找我的 Nvidia 卡上 native 算术运算的吞吐量。在 this页，Nvidia 记录了各种算术运算的吞吐量值。问题是我如何确定我的卡是否执行 16 位或 32 位或 64 位操作，因为每个值都不同？此外，我还想为我的卡计算这些指令的延迟值。有什么办法吗？就我的研究而言，它们没有像吞吐量那样被记录下来。是否有一些用于此目的的基准套件？

谢谢!

Answer 1

how do I determine if my card does 16 or 32 or 64 bit operations, since the values are different for each?

在页面上you linked , 是在表格顶部列出的计算能力(对于每一列)。您的 GPU 具有计算能力。您可以使用 deviceQuery cuda 示例应用程序来弄清楚它是什么，或者查找它 here .

例如，假设我有一个 GTX 1060 GPU。如果在其上运行 deviceQuery，将报告计算能力主要版本为 6，次要版本为 1，因此它是一个计算能力为 6.1 的 GPU。您还可以看到 here .

现在，回到您链接的表格，这意味着标记为 6.1 的列是感兴趣的列。它看起来像这样:

                                            Compute Capability
                                                    6.1 
16-bit floating-point add, multiply, multiply-add   2     ops/SM/clock
32-bit floating-point add, multiply, multiply-add   128   ops/SM/clock
64-bit floating-point add, multiply, multiply-add   4     ops/SM/clock
...

这意味着 GTX 1060 能够以 3 种不同的精度(16 位、32 位、64 位)以不同的速率进行所有 3 种类型的运算(浮点乘法、乘加或加法)或每个精度的吞吐量。关于表格，这些数字是每个时钟和每个 SM。

为了确定整个 GPU 的总峰值理论吞吐量，我们必须将上述数字乘以 GPU 的时钟频率和 GPU 中的 SM(流式多处理器)数量。 CUDA deviceQuery 应用程序也可以告诉您此信息，或者您可以在线查找。

Further, I also want to calculate the latency values of these instructions for my card. Is there some way to do it? As far as my research goes, they are not documented like throughput.

正如我在您的 previous question 中提到的那样，这些延迟值没有公布或指定，事实上它们可能(并且确实)从 GPU 到 GPU，从一种指令类型到另一种指令类型(例如，浮点乘法和浮点加法可能有不同的延迟)，甚至可能改变从 CUDA 版本到 CUDA 版本，对于通过一系列多个 SASS 指令模拟的某些操作类型。

为了发现这种延迟数据，有必要进行某种形式的微基准测试。一篇早期且经常被引用的论文展示了如何为 CUDA GPU 完成此操作是 here .对于 GPU 的延迟微基准测试数据，没有一个单一的规范引用，也没有一个用于基准测试程序的规范引用。这是一项相当困难的工作。

Is there some benchmark suite for this purpose?

这类问题显然与 SO 无关。请阅读here它指出:

“要求我们推荐或查找书籍、工具、软件库、教程或其他场外资源的问题与 Stack Overflow 无关……”