gpt4 book ai didi

python - 如何运行使用 subprocess.call 的同一 Python 脚本的多个实例

转载 作者:行者123 更新时间:2023-12-01 03:09:44 32 4
gpt4 key购买 nike

我有一个接受命令行参数的Python脚本job.py。该脚本使用Python包subprocess来运行一些外部程序。脚本和外部程序都是顺序的(即没有 MPI、openMP 等)。我想运行这个脚本 4 次,每次使用不同的命令行参数。我的处理器有 4 个核心,因此我想同时运行所有 4 个实例。如果我打开 4 个终端并在单独的终端中运行脚本的每个实例,它就会完美地工作,并且我得到了我想要的结果。

现在我想让自己更轻松地启动 4 个实例,这样我就可以从单个终端使用单个命令来完成所有这些操作。为此,我使用 bash 脚本 batch.sh:

python job.py 4 0 &
python job.py 4 1 &
python job.py 4 2 &
python job.py 4 3 &

这不起作用。事实证明 subprocess 是这里的罪魁祸首。所有Python代码都完美运行,直到它到达subprocess.call,然后我得到:

[1]+  Stopped                 python job.py 4 0

所以我的看法是,我试图在后台运行 job.pyjob.py 本身尝试通过以下方式在后台运行其他内容子进程。由于我不明白的原因,这显然不起作用。

有没有办法在不需要多个终端的情况下多次运行 job.py

编辑#1

根据建议,我尝试了multiprocessingthreadthreading 包。在最好的情况下,只有一个实例运行正常。我尝试了一个丑陋的解决方法,但确实有效。我制作了一个 bash 脚本,它在新终端中启动每个实例:

konsole -e python job.py 4 0
konsole -e python job.py 4 1
konsole -e python job.py 4 2
konsole -e python job.py 4 3

编辑#2

这里是使用 subprocess.call 的实际函数(注意:subprocess 被导入为 sp)。

def run_case(path):
case = path['case']
os.chdir(case)
cmd = '{foam}; {solver} >log.{solver} 2>&1'.format(foam=CONFIG['FOAM'],
solver=CONFIG['SOLVER'])
sp.call(['/bin/bash', '-i', '-c', cmd])

让我来填补空白:

  • CONFIG 是全局定义的字典。
  • CONFIG['FOAM'] = 'of40' 这是我的 .bashrc 中的别名,用于获取属于我正在运行的二进制文件的文件。
  • CONFIG['SOLVER'] = 'simpleFoam' 这是我正在运行的二进制文件。

编辑#3

我终于让它可以用了

def run_case():
case = CONFIG['PATH']['case']
os.chdir(case)
cmd = 'source {foam}; {solver} >log.simpleFoam 2>&1'.format(foam=CONFIG['FOAM'],
solver=CONFIG['SOLVER'])
sp.call([cmd], shell=True, executable='/bin/bash')

解决方案是设置 shell=Trueexecutable='/bin/bash' 而不是在中包含 /bin/bash要传递给 shell 的实际命令行。注意:foam 现在是文件路径,而不是别名。

最佳答案

您可以在 Python 中进行并行化:

import multiprocessing
import subprocess

def run_job(spec):
...
if spec ...:
subprocess.call(...)

def run_all_jobs(specs):
pool = multiprocessing.Pool()
pool.map(run_job, specs)

它的优点是可以让您监视/记录/调试并行化。

关于python - 如何运行使用 subprocess.call 的同一 Python 脚本的多个实例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42979271/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com