python - 使用 mpi4py 在脚本中调用子进程

Question

我在从我的 python 脚本调用外部程序时遇到问题，我想在其中使用 mpi4py 在不同的处理器之间分配工作负载。

基本上，我想使用我的脚本，让每个内核在单独的文件夹中准备一些用于计算的输入文件，然后在该文件夹中启动一个外部程序，等待输出，最后读取结果并收集它们.

但是，我根本无法让外部程序调用正常工作。在寻找此问题的解决方案时，我发现我面临的问题似乎非常根本。以下简单示例清楚地说明了这一点:

#!/usr/bin/env python
import subprocess

subprocess.call(“EXTERNAL_PROGRAM”, shell=True)
subprocess.call(“echo test”, shell=True)

./script.py 工作正常(两个调用都有效)，而 mpirun -np 1 ./script.py 只输出 test .这种情况有什么解决方法吗？该程序肯定在我的 PATH 中，但如果我使用 abolute 路径进行调用，它也会失败。

This SO question seems to be related, sadly there are no answers...

编辑:

在我的问题的原始版本中，我没有包含任何使用 mpi4py 的代码，尽管我在标题中提到了这个模块。所以这里有一个更详细的代码示例:

#!/usr/bin/env python

import os
import subprocess

from mpi4py import MPI


def worker(parameter=None):
    """Make new folder, cd into it, prepare the config files and execute the
    external program."""

    cwd = os.getcwd()
    dir = "_calculation_" + parameter
    dir = os.path.join(cwd, dir)
    os.makedirs(dir)
    os.chdir(dir)

    # Write input for simulation & execute
    subprocess.call("echo {} > input.cfg".format(parameter), shell=True)
    subprocess.call("EXTERNAL_PROGRAM", shell=True)

    # After the program is finished, do something here with the output files
    # and return the data. I'm using the input parameter as a dummy variable
    # for the processed output.
    data = parameter

    os.chdir(cwd)

    return data


def run_parallel():
    """Iterate over job_args in parallel."""

    comm = MPI.COMM_WORLD
    size = comm.Get_size()
    rank = comm.Get_rank()

    if rank == 0:
        # Here should normally be a list with many more entries, subdivided
        # among all the available cores. I'll keep it simple here, so one has
        # to run this script with mpirun -np 2 ./script.py
        job_args = ["a", "b"]
    else:
        job_args = None

    job_arg = comm.scatter(job_args, root=0)
    res = worker(parameter=job_arg)
    results = comm.gather(res, root=0)

    print res
    print results

if __name__ == '__main__':
    run_parallel()

不幸的是，我无法提供外部可执行文件 EXTERNAL_PROGRAM 的更多详细信息，除了它是一个启用了 MPI 的 C++ 应用程序之外。正如下面评论部分所写，我怀疑这就是我的外部程序调用基本上被忽略的原因(或原因之一)。

请注意，我知道在这种情况下，没有人可以重现我的确切情况。不过，我仍然希望这里有人遇到过类似的问题，或许可以提供帮助。

为完整起见，操作系统是 Ubuntu 14.04，我使用的是 OpenMPI 1.6.5。

Answer 1

在您的第一个示例中，您可以这样做:

#!/usr/bin/env python
import subprocess

subprocess.call(“EXTERNAL_PROGRAM && echo test”, shell=True)

python 脚本只是促进 MPI 调用。您也可以使用命令“EXTERNAL_PROGRAM && echo test”编写 bash 脚本并 mpirun bash 脚本；这相当于 mpirunning python 脚本。

如果 EXTERNAL_PROGRAM 启用了 MPI，则第二个示例将不起作用。使用 mpi4py 时，它将初始化 MPI。一旦以这种方式初始化了 MPI 环境，就不能生成另一个 MPI 程序。您可以使用 MPI_Comm_spawn 或 MPI_Comm_spawn_multiple 和 -up 选项生成 mpirun。对于 mpi4py，请参阅 Compute PI example用于产卵(使用 MPI.COMM_SELF.Spawn)。