cuda - 是否可以通过 nvprof (或其他方法)看到内核执行是否发生在 Tensor Core 上？

Question

我正在尝试找出 Titan V/V100 上深度学习模型的 GPU 执行性能瓶颈。我了解，要在基于 https://devblogs.nvidia.com/parallelforall/programming-tensor-cores-cuda-9/ 的 Tensor Core 上执行底层内核执行，必须满足某些要求。

“nvprof”提供了一种简单的方法来转储 GPU 上的所有内核执行，但它似乎没有说明是否实际使用了 Tensor Core。这是捕获此类信息的方法吗？

Answer 1

根据these slides NVIDIA 提出的“Training Neural Networks with Mixed Precision”，您可以使用 nvprof 查看是否使用了 Tensor Core。

幻灯片第 12 页实质上是说使用 nvprof 运行程序并查找“884”内核。

例如

$ nvprof python test.py
...
37.024us 1 37.024us 37.024us 37.024us volta_fp16_s884gemm_fp16…