optimization - 您如何分析和优化CUDA内核？

Question

我对CUDA视觉分析器和占用率电子表格有些熟悉，尽管我可能没有很好地利用它们。对CUDA代码进行分析和优化不同于在CPU上运行的分析和优化代码。因此，我希望从您的经验中学习如何最大程度地利用我的代码。

最近有一篇帖子正在寻找最快的代码来标识self numbers，我提供了一个CUDA implementation。我不满意这段代码的速度如何，但我不知所措，无法找出正确的问题以及可以从中获得答案的工具。

您如何确定提高CUDA内核性能的方法？

Answer 1

如果您是在Linux上进行开发，则CUDA Visual Profiler可为您提供全部信息，知道如何处理可能会有些棘手。在Windows上，您还可以使用CUDA Visual Profiler，或者（在Vista / 7/2008上）可以使用Nexus，该Nexus与Visual Studio很好地集成在一起，并为您提供了主机和GPU配置文件的组合信息。

获得数据后，您需要知道如何解释它。 GTC的Advanced CUDA C演示文稿提供了一些有用的技巧。要注意的主要事情是：


最佳的内存访问：您需要知道您希望代码执行的操作，然后查找异常。因此，如果您始终加载浮点数，并且每个线程都从数组加载不同的浮点数，那么您将期望仅看到64字节的负载（以当前h / w计）。任何其他负载都是无效的。分析信息在将来的硬件中可能会有所改善。
最小化序列化：“ warp serialize”计数器表示您存在共享内存库冲突或恒定序列化，演示文稿将更详细地介绍如何处理以及与SDK一样（例如简化示例）
重叠的I / O和计算：这是Nexus真正的亮点（您可以使用cudaEvents手动获得相同的信息），如果您有大量的数据传输，则希望将计算和I / O重叠
执行配置：占用率计算器可以帮助解决此问题，但是简单的方法（例如注释计算以测量预期带宽与测量带宽的比较）确实有用（反之亦然）


这只是一个开始，请查看NVIDIA网站上的GTC演示文稿和其他网络研讨会。