python - MPI 信号处理

Question

使用mpirun时，是否可以在运行的代码中捕获信号(例如，^C生成的SIGINT)？

例如，我正在运行并行化的 Python 代码。在单独运行 python blah.py 时，我可以 except KeyboardInterrupt 捕获这些错误，但在执行 mpirun -np 1 python blah.py.

有人有什么建议吗？即使找到如何在 C 或 C++ 编译程序中捕获信号也会是一个有用的开始。

如果我向派生的 Python 进程发送信号，它们可以正确处理信号；但是，发送到父 orterun 进程的信号(即超过集群上的 wall time，或在终端中按 control-C)将立即终止一切。

Answer 1

我认为这确实取决于实现。

• 在 SLURM 中，我尝试使用 sbatch --signal USR1@30 向程序发送 SIGUSR1(其符号为 30,10 或 16)由 srun 命令启动。进程接收到信号 SIGUSR1 = 10。

• 针对IBM的平台MPI，根据https://www.ibm.com/support/knowledgecenter/en/SSF4ZA_9.1.4/pmpi_guide/signal_propagation.html

SIGINT、SIGUSR1、SIGUSR2 将绕过进程。

• 在 MPICH 中，SIGUSR1 被进程管理器用于异常故障的内部通知。引用:http://lists.mpich.org/pipermail/discuss/2014-October/003242.html >

• 在另一个上打开 MPI 会将 SIGUSR1 和 SIGUSR2 从 mpiexec 转发到其他进程。引用:http://www.open-mpi.org/doc/v1.6/man1/mpirun.1.php#sect14 >

• 对于 IntelMPI，根据 https://software.intel.com/en-us/mpi-developer-reference-linux-hydra-environment-variables

I_MPI_JOB_SIGNAL_PROPAGATION 和 I_MPI_JOB_TIMEOUT_SIGNAL 可以设置发送信号。

另一件值得注意的事情:对于许多 python 脚本，它们会通过 cython 调用其他库或代码，如果 SIGUSR1 被子进程捕获，则可能会发生一些意外情况。