python - 查找 Python 和 MySQL 脚本中的性能瓶颈

Question

我有一个带有主 for 循环的脚本，该循环重复大约 15k 次。在此循环中，它查询本地 MySQL 数据库并在本地存储库上执行 SVN 更新。我将 SVN 存储库放在 RAMdisk 中，就像以前一样，大部分时间似乎都花在读/写磁盘上。

现在我有一个脚本，其运行速度基本相同，但该脚本的 CPU 利用率从未超过 10%。

ProcessExplorer 显示 mysqld 也几乎没有占用任何 CPU 时间或对磁盘进行大量读取/写入。

您将采取哪些步骤来找出瓶颈所在？

Answer 1

在 for 循环中执行 15k 次 SQL 查询是每种语言的瓶颈。

您每次再次查询有什么原因吗？如果您在 for 循环之前执行一次查询，然后循环结果集和 SVN 部分，您将看到速度的显着提高。

但我怀疑您是否会获得更高的 CPU 使用率。原因是你做的不是计算，而是IO。顺便说一句，您无法在 mysqld cpu 使用情况中测量这一点，因为它在实际代码中不是查询的复杂性，而是它们的计数和服务器引擎响应的延迟。因此，您只会看到非常短、不昂贵的查询，但它们确实会及时总结。