python 多处理: What are ways I can reduce sy process overhead?

Question

我是多处理的新手 - 我可能会解释这个错误 - 但是当我运行我的程序时，我注意到我生成的进程越多，我的 linux 计算机上的“sy”就会越多。例如:

Cpu(s): 14.0%us, 24.1%sy,  0.0%ni, 58.8%id,  0.0%wa,  2.2%hi,  0.0%si,  0.8%st

我生成的进程越多，sy 进程就越高，而实际进程只是减半(因此在达到 10%/cpu 之前它是 20%/cpu)并且理想 cpu 保持不变(几乎 60% ).我不确定这是 linux 问题还是 python 问题，但我能做些什么来减少这个数字并允许我的程序使用更多可用的 cpu 吗？

Answer 1

系统 CPU 时间是内核内部进程使用的时间。如果您的系统 CPU 与用户 CPU 的比率如此之大，则可能意味着您的进程正在执行大量系统调用。

不要认为这是浪费时间:内核正在为您的进程做一些有用的事情。

你可能会尝试，例如通过显着增加缓冲区大小来降低系统调用率。或者您的进程可能有太多同步原语。

您可以使用 strace 来了解您的进程完成的系统调用。