python - 如何运行使用 subprocess.call 的同一 Python 脚本的多个实例

Question

我有一个接受命令行参数的Python脚本job.py。该脚本使用Python包subprocess来运行一些外部程序。脚本和外部程序都是顺序的(即没有 MPI、openMP 等)。我想运行这个脚本 4 次，每次使用不同的命令行参数。我的处理器有 4 个核心，因此我想同时运行所有 4 个实例。如果我打开 4 个终端并在单独的终端中运行脚本的每个实例，它就会完美地工作，并且我得到了我想要的结果。

现在我想让自己更轻松地启动 4 个实例，这样我就可以从单个终端使用单个命令来完成所有这些操作。为此，我使用 bash 脚本 batch.sh:

python job.py 4 0 &
python job.py 4 1 &
python job.py 4 2 &
python job.py 4 3 &

这不起作用。事实证明 subprocess 是这里的罪魁祸首。所有Python代码都完美运行，直到它到达subprocess.call，然后我得到:

[1]+  Stopped                 python job.py 4 0

所以我的看法是，我试图在后台运行 job.py 而 job.py 本身尝试通过以下方式在后台运行其他内容子进程。由于我不明白的原因，这显然不起作用。

有没有办法在不需要多个终端的情况下多次运行 job.py ？

编辑#1

根据建议，我尝试了multiprocessing、thread 和threading 包。在最好的情况下，只有一个实例运行正常。我尝试了一个丑陋的解决方法，但确实有效。我制作了一个 bash 脚本，它在新终端中启动每个实例:

konsole -e python job.py 4 0
konsole -e python job.py 4 1
konsole -e python job.py 4 2
konsole -e python job.py 4 3

编辑#2

这里是使用 subprocess.call 的实际函数(注意:subprocess 被导入为 sp)。

def run_case(path):
    case = path['case']
    os.chdir(case)
    cmd = '{foam}; {solver} >log.{solver} 2>&1'.format(foam=CONFIG['FOAM'],
                                                       solver=CONFIG['SOLVER'])
    sp.call(['/bin/bash', '-i', '-c', cmd])

让我来填补空白:

• CONFIG 是全局定义的字典。
• CONFIG['FOAM'] = 'of40' 这是我的 .bashrc 中的别名，用于获取属于我正在运行的二进制文件的文件。
• CONFIG['SOLVER'] = 'simpleFoam' 这是我正在运行的二进制文件。

编辑#3

我终于让它可以用了

def run_case():
    case = CONFIG['PATH']['case']
    os.chdir(case)
    cmd = 'source {foam}; {solver} >log.simpleFoam 2>&1'.format(foam=CONFIG['FOAM'],
                                                                solver=CONFIG['SOLVER'])
    sp.call([cmd], shell=True, executable='/bin/bash')

解决方案是设置 shell=True 和 executable='/bin/bash' 而不是在中包含 /bin/bash要传递给 shell 的实际命令行。注意:foam 现在是文件路径，而不是别名。

Answer 1

您可以在 Python 中进行并行化:

import multiprocessing
import subprocess

def run_job(spec):
    ...
    if spec ...:
        subprocess.call(...)

def run_all_jobs(specs):
    pool = multiprocessing.Pool()
    pool.map(run_job, specs)

它的优点是可以让您监视/记录/调试并行化。