python - 如何在 slurm 中安装 python 包/模块

Question

这可能是一个非常基本的问题，但这是我第一次使用 slurm-cluster，我不想搞砸任何事情(管理员正在休假)。

我有一个使用“导入火炬”的 python 脚本。当我运行“sbatch myscript.sh”时，我得到输出“ImportError: No module named 'torch'”。我在节点内使用 pip 下载火炬包，但下载后我仍然收到 importError。

我如何使我的进口工作？我应该从 github 下载包的源代码并将它们上传到我在 slurm 上的主目录吗？管理员给我的指南没有包含这个场景的信息，我错过了什么？

Answer 1

您应该在 bash 代码中导入所有这些包。
下面是一个例子:

#!/bin/bash
#SBATCH --account=def-someuser
#SBATCH --mem-per-cpu=1.5G      # increase as needed
#SBATCH --time=1:00:00

module load python/3.6
virtualenv --no-download $SLURM_TMPDIR/env
source $SLURM_TMPDIR/env/bin/activate
pip install --no-index --upgrade pip

pip install --no-index -r requirements.txt
python ...

您可以将所有依赖项放在需求文件中，并在 virtualenv 中一次性安装它们。
有关更多信息，请查看 this page .