windows - 如何使用辅助 GPU 覆盖 Windows 上的 CUDA 内核执行时间限制？

Question

来自Nvidia的网站，它解释了超时问题:

Q: What is the maximum kernel execution time? On Windows, individual GPU program launches have a maximum run time of around 5 seconds. Exceeding this time limit usually will cause a launch failure reported through the CUDA driver or the CUDA runtime, but in some cases can hang the entire machine, requiring a hard reset. This is caused by the Windows "watchdog" timer that causes programs using the primary graphics adapter to time out if they run longer than the maximum allowed time.

For this reason it is recommended that CUDA is run on a GPU that is NOT attached to a display and does not have the Windows desktop extended onto it. In this case, the system must contain at least one NVIDIA GPU that serves as the primary graphics adapter.

来源:https://developer.nvidia.com/cuda-faq

看来，nvidia 相信，或者至少强烈暗示，拥有多个 (nvidia) GPU 并通过适当的配置，可以防止这种情况发生？

但是怎么办？到目前为止，我尝试了很多方法，但在 GK110 GPU 上仍然存在令人讨厌的超时:(1) 插入辅助 PCIE 16X 插槽； (2) 未连接任何显示器 (3) 在驱动程序控制面板中设置为用作专用 physX 卡(如其他人所推荐的)，但仍然存在阻塞。

Answer 1

如果您的 GK110 是 Tesla K20c GPU，那么您应该将设备从 wddm 模式切换到 TCC 模式。这可以通过随驱动程序安装的 nvidia-smi.exe 工具来完成。使用 Windows 搜索功能找到此文件 (nvidia-smi.exe)，然后使用命令行帮助 (`nvidia-smi --help) 发现将 GPU 从 WDDM 切换到 TCC 模式所需的命令。

完成此操作后，Windows 看门狗机制将不再关注您的 GK110 设备。

另一方面，如果它是 GeForce GPU，则无法将其切换到 TCC 模式。您唯一的选择是修改注册表设置，这有点困难。您的里程可能会有所不同，因为注册表键的确切结构因操作系统而异。

如果 GPU 处于 WDDM 模式，则它受制于看门狗定时器。