python - 如何分析并行化的 Python 脚本？

Question

假设我有一个名为 my_parallel_script.py 的 python 脚本，它涉及使用 multiprocessing 来并行化几件事，我使用以下命令运行它:

python -m cProfile my_parallel_script.py

这仅为父进程 生成分析输出。根本不会记录在子进程中进行的调用。是否也可以分析子进程？

如果唯一的选择是修改源代码，那么最简单的方法是什么？

Answer 1

cProfile 仅适用于单个进程，因此您不会自动获取子进程的概要文件。

我建议您调整子进程代码，以便您可以将其作为单个进程单独调用。然后在分析器下运行它。您可能不需要在分析时运行系统多进程，并且只运行一个子进程会简化工作。