python - 如何调试永不停止运行的代码？

Question

我有一个庞大的代码库，现在有些东西执行起来花费的时间太长了。我不知道是什么。

代码从不引发异常，它只是似乎在继续处理某些事情。

我想做的是在一些函数周围放置计时器来测试哪个是罪魁祸首。但我不确定这是否是正确的方法，或者如何去做。

我不能轻易地在代码周围的点引发异常，因为有各种循环调用相同的函数，可能只是有时花费的时间太长。

什么是最好的策略？

Answer 1

一种解决方案是使用内置于 Python 中的 cProfile 来判断您的代码在哪些函数上花费的时间最多。重要的是，即使您停止代码，这种分析也能正常工作用一个 KeyboardInterrupt。因此，您可以开始运行代码并进行分析，在一两分钟后停止它，然后查看它把时间花在哪里了。

使用这些额外的 -m 和 -o 参数运行您的代码:

python -m cProfile -o profile.txt myscript.py

程序完成运行后，运行以下代码(例如从另一个脚本):

import pstats
p = pstats.Stats('profile.txt')
p.strip_dirs().sort_stats("time").print_stats()

这将打印一个函数列表，按照您在这些函数中花费的总时间排序。

这是使用分析来调试无限循环的演示。假设 myscript.py 具有以下代码。

def f():
    while True:
        g(100000)

def g(n):
    x = []
    for i in range(n):
        x.append(n)

f()

当然这会导致无限循环- g 会运行很多很多次。所以我运行了上面的分析命令，但我在大约 30-40 秒后停止了它(甚至可能更短)。然后它的配置文件将打印为:

Wed Jan 30 10:58:50 2013    profile.txt

         115414854 function calls in 37.705 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1155   25.787    0.022   37.020    0.032 test3.py:5(g)
115412541   10.060    0.000   10.060    0.000 {method 'append' of 'list' objects}
     1155    1.173    0.001    1.173    0.001 {range}
        1    0.685    0.685   37.705   37.705 test3.py:1(f)
        1    0.000    0.000   37.705   37.705 test3.py:1(<module>)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

请注意，我们的无限循环函数 g 在函数中花费的时间方面恰好位于列表的顶部。

注意:仅仅因为代码将所有时间都花在一个函数上并不意味着循环直接围绕该函数 - 它可以由函数调用的函数调用(等)处于无限循环中(注意 append 靠近列表的顶部，因为它是在 g 中调用的)。另一种技巧是根据每个函数花费的累计时间对它们进行排序，使用 .sort_stats("cum")。将这两种方法结合起来，再加上一些侦探工作(查看代码和添加调试消息)，应该能够找出罪魁祸首。