Python:exec 语句和意外的垃圾收集器行为

Question

我发现 exec 有问题(它发生在一个必须使用用户编写的脚本进行扩展的系统中)。我可以将问题本身简化为这段代码:

def fn():
    context = {}
    exec '''
class test:
    def __init__(self):
        self.buf = '1'*1024*1024*200
x = test()''' in context

fn()

我预计内存应该在函数 fn 调用后被垃圾收集器释放。然而，Python 进程仍然消耗额外的 200MB 内存，我完全不知道这里发生了什么以及如何手动释放分配的内存。

我怀疑在 exec 中定义一个类不是一个好主意，但是，首先，我想了解上面的示例中出了什么问题。

看起来在另一个函数中包装类实例创建解决了问题，但有什么区别？

def fn():
    context = {}
    exec '''
class test:
    def __init__(self):
        self.buf = '1'*1024*1024*200
def f1(): x = test()
f1()
    ''' in context
fn()

这是我的 Python 解释器版本:

$ python
Python 2.7 (r27:82500, Sep 16 2010, 18:02:00) 
[GCC 4.5.1 20100907 (Red Hat 4.5.1-3)] on linux2

Answer 1

你看到它占用 200Mb 内存的时间比你预期的要长是因为你有一个引用周期:context 是一个同时引用 x 的字典和测试。 x 引用了 test 的实例，它引用了 test。 test 有一个属性字典，test.__dict__，其中包含类的__init__ 函数。 __init__ 函数反过来引用定义它的全局变量——这是你传递给 exec 的字典，context。

Python 会为您打破这些引用循环(因为没有涉及到 __del__ 方法)但它需要 gc.collect() 才能运行。 gc.collect() 将在每 N 次分配后自动运行(由 gc.set_threshold() 确定)，因此“泄漏”会在某个时候消失，但如果您想要它会立即消失，您可以自己运行 gc.collect()，或者在退出该函数之前自行中断引用循环。您可以通过调用 context.clear() 轻松完成后者——但您应该意识到这会影响您在其中创建的类的所有实例。