cuda - 如何使用 CUDA 刷新 GPU 内存(物理重置不可用)

Question

在内存被刷新之前，我的 CUDA 程序在执行期间崩溃了。结果，设备内存仍然被占用。

我在 GTX 580 上运行，不支持 nvidia-smi --gpu-reset。

将 cudaDeviceReset() 放在程序开头只会影响进程创建的当前上下文，不会刷新在其之前分配的内存。

我正在远程访问带有该 GPU 的 Fedora 服务器，因此物理重置非常复杂。

所以，问题是 - 在这种情况下有没有办法刷新设备内存？

Answer 1

检查什么正在使用您的 GPU 内存

sudo fuser -v /dev/nvidia*

您的输出将如下所示:

                     USER        PID  ACCESS COMMAND
/dev/nvidia0:        root       1256  F...m  Xorg
                     username   2057  F...m  compiz
                     username   2759  F...m  chrome
                     username   2777  F...m  chrome
                     username   20450 F...m  python
                     username   20699 F...m  python

然后在 htop 上或使用

杀死不再需要的 PID

sudo kill -9 PID.

在上面的示例中，Pycharm 占用了大量内存，因此我杀死了 20450 和 20699。