python - 在 Sun Grid Engine 中运行 Python MPI 程序

Question

我一直在用 C 编写非常简单的 MPI 程序。我不是很擅长 C，但对 Python 很有信心。我开始知道 Python 具有 MPI 绑定(bind)。我使用 Sun Grid Engine 作为 DRMS(分布式资源管理系统)。在开始使用 python MPI 之前，我想知道是否可以将 python mpi 程序提交给 Sun Grid Engine 以利用系统所有可用分布式处理器的能力。

那么，是否可以将python mpi程序提交给Sun Grid Engine？

Answer 1

是的，这是可能的，它与使用 mpirun 运行编译后的 MPI 代码没有任何不同。关于确保您的代码需要在每个节点上运行的可执行文件、库和支持文件的所有通常注意事项同样适用于 Python 和已编译的 MPI 应用程序。

Grid Engine 本身(或者至少是我使用过的 Oracle 之前、商业前的版本)对 MPI 一无所知，本身，所以在您的作业从资源管理器您的 SGE 作业脚本可能需要为运行创建自己的机器文件(或运行启动脚本)，并执行任何其他必要的咒语来准备将运行您的代码以供执行的节点。旧的 SGE wiki 和邮件列表有很多关于在运行的 SGE 作业脚本中设置 MPI 机器文件的有用示例。它的内部细节几乎完全是 MPI 风格特定的并且大部分独立于 SGE，因此提供细节有点困难，但最终在作业文件中运行 Python 应用程序的命令可以像

mpirun <options here> python yourapp.py

或

mpirun <options here> yourapp.py

如果 yourapp.py 具有可执行权限和合适的 shebang行在里面。我运行了一些相当大的 mpi4py使用 MPICH2 和 SGE 的应用程序可以轻松完成后者。