gpt4 book ai didi

python - 如何通过配置文件在 SLURM 中使用 sbatch

转载 作者:太空宇宙 更新时间:2023-11-03 16:12:07 27 4
gpt4 key购买 nike

我想使用 sbatch 运行 python 脚本,但是,似乎使用 sbatch 运行 python 脚本的唯一方法是拥有一个 bash 脚本,然后运行该 python 脚本。就像拥有 batch_main.sh 一样:

#!/bin/bash
#SBATCH --job-name=python_script

arg=argument

python python_batch_script.sh

然后运行:

sbatch batch_main.sh

问题是我希望有一个单独的参数配置文件(因为它通常不是单个数字或参数)并且还能够使用数组选项。另外,我通常同时运行多个不同 sbatch 作业(使用不同配置),因此如果更改配置文件不会造成任何影响,那就太好了不同的 sbatch 运行会相互妨碍(因为如果作业排队,然后配置文件稍后更改,它将运行最新的配置文件,而不是我运行 sbatch 时的配置副本)。为了解决这个问题,我发现当我运行 sbatch 脚本时,SLURM 实际上会将提交脚本复制到其内部数据库(我在询问后发现了它: Changing the bash script sent to sbatch in slurm during run a bad idea? )。因此,我实际上决定将配置硬编码到 bash 提交脚本中(本质上使提交脚本成为配置文件)。这样我只需编辑提交脚本,然后运行该文件。然而,我想阻止这个,因为这让我用 bash 编写,我想不惜一切代价避免。

理想情况下,我想运行一个直接运行 python 的 sbatch。

由于这可能不可能,我想知道还有哪些其他选项可以解决此问题。例如,是否可以让 slurm 将不同的文件(如 python 配置文件)复制到其内部数据库,以便当它对作业进行排队时,它运行我确切想要运行的作业? (请注意,运行 sbatch 作业然后更改配置文件不是执行此操作的方法,因为这可能会在更改配置文件时导致问题,slrum 将读取配置的最新副本而不是配置的副本当作业运行时)。或者我还有什么其他选择?我真的坚持编写 bash 还是我可以做其他事情来处理 python 中的配置而不是其他一些奇怪的黑客?

总的来说,我还想知道人们在现实世界中为此做了什么,或者对此有什么好的做法/标准。

最佳答案

Python 脚本是有效的提交文件,前提是它们以 python shebang 开头(通常是 #!/usr/bin/env python)。

例如:

#!/usr/bin/env python
#SBATCH --time=...
#SBATCH --partition=...

import sys
jobid=sys.environ["SLURM_JOB_ID"]
print "Hello World from job %s" % jobid

请注意,如果您的脚本导入自定义模块,则即使它们位于当前目录中,您也需要设置 PYTHONPATH。

关于python - 如何通过配置文件在 SLURM 中使用 sbatch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39186812/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com