slurm - 我如何知道使用 SLURM 为作业分配了哪些 GPU？

Question

我可以在 slurm 上运行一个工作，例如，srun --gpus=2它将设置 CUDA_VISIBLE_DEVICES分配给 GPU。但是我知道没有这样的方法来检查哪些 GPU SLURM 分配了特定的工作。如果我运行 scontrol show job它会告诉我类似 TresPerJob=gpu:2 的东西但它不包含实际分配的 GPU。

我在哪里可以找到这些信息？换句话说，我如何查找分配了哪些 GPU 作业 n？

Answer 1

如果您只是在寻找什么 slurm 套装 CUDA_VISIBLE_DEVICES到，我建议使用 cat /proc/12345/environ其中数字是启动的任何 slurm 的 PID。

但是，这很可能会被覆盖，例如 srun --export=ALL bash -i ，因此您不能在对抗性案例中依赖它。