gpu - 重置单个 GPU 的内存使用情况

Question

我可以访问 4 个 GPU(不是 root 用户)。其中一个 GPU(2 号)表现怪异，它们的一些内存被阻塞但功耗和温度非常低(好像没有任何东西在上面运行)。请参阅下图中 nvidia-smi 的详细信息:

如何在不干扰其他 GPU 上运行的进程的情况下重置 GPU 2？

PS:我不是 root 用户，但我想我也可以掌握一些 root 用户。

Answer 1

重置 GPU 可以以某种方式解决您的问题，由于您的 GPU 配置，这可能是不可能的

nvidia-smi --gpu-reset -i "gpu ID"

例如，如果您使用 gpus 启用了 nvlink，它并不总是通过，而且您的 nvidia-smi 似乎无法找到在您的 gpu 上运行的进程，您的案例的解决方案是找到并杀死通过运行以下命令将进程与该 gpu 相关联，用 fuser 在那里找到的 PID 填写 PID

fuser -v /dev/nvidia*

kill -9 "PID"