python - 如何强制删除大对象

Question

我知道这是一个反复出现的问题，但在我的案例中，我无法使用任何建议的解决方案有效地释放内存。所以这是我的代码:

from ete2 import Tree

for i in i_iminus1_pool_dict.keys():
    Assignment_Tree = Tree()
    Root = Assignment_Tree.get_tree_root()
    Root.add_feature("name", i)
    populate_tree() # this function extends the branches of the Tree and adds leaves
    for leaf in Assignment_Tree.iter_leaves():
        chain = []
        score = leaf.dist
        chain.append(leaf.name)
        for ancestor in leaf.get_ancestors():
            chain.append(ancestor.name)
        del chain
        del ancestor
        del leaf
    del Assignment_Tree
    gc.collect()

Tree() 对象来自 ete2 包，当用 Twig 和树叶填充时会消耗大量内存。如您所见，我必须多次创建一个新的 Tree()，但是，删除和垃圾收集似乎并没有释放内存。谁能建议我还能做些什么来在 for 循环的每次迭代结束时有效地删除 Tree 对象？

Answer 1

首先，我不相信你真的有问题。但让我们假设您这样做。

Can anyone suggest what else I could do to effectively delete the Tree object at the end of each iteration of the for loop?

您可以尝试弄清楚是谁在保持对它的引用，并且 del 也是如此。我注意到您错过了 Root；我敢打赌它引用了 Tree 对象，或者它的大部分数据。

但最简单的方法是使用作用域。只需将循环体重构为一个函数，所有在循环内创建的变量都将成为函数内的局部变量，并在函数返回时全部消失:

def do_tree_stuff(i):
    Assignment_Tree = Tree()
    Root = Assignment_Tree.get_tree_root()
    # ...
    Root.add_feature("name", i)
    populate_tree() # this function extends the branches of the Tree and adds leaves
    for leaf in Assignment_Tree.iter_leaves():
        chain = []
        score = leaf.dist
        chain.append(leaf.name)
        for ancestor in leaf.get_ancestors():
            chain.append(ancestor.name)

for i in i_iminus1_pool_dict.keys():
    do_tree_stuff(i)

只要该函数不改变任何全局变量或闭包单元，它就不可能在调用者的局部变量中留下任何东西。因此，您无需尝试弄清楚哪些局部变量可能已被修改并 del 它们；你知道它们都没有被修改，你不需要做任何事情。

如果您想将内部循环重构为另一个函数，那就去做吧。

---

如果您保留了不应该保留的数据——即，该循环中的某些内容正在改变存在于循环之外的某些内容，该循环引用了叶，叶引用了根，根引用了整棵树——那么这实际上是一个问题，你需要修复它。但我在您发布的代码中看不到任何可能这样做的内容。

---

但与此同时，这仍然不会真正向操作系统释放内存。一旦 Python 分配了内存，它通常会保留它。但它会重用它。如果在创建第二棵树时第一棵树是垃圾，它会将第二棵树放在与第一棵树相同的内存中。这通常比到处调用 malloc 和 free 要好得多——但是，即使在极少数情况下，你也不能阻止 Python 这样做。

如果您确实确实需要重复分配和释放内存，您始终可以使用重构的函数并将其分离到子进程中，使用 multiprocessing .当一个进程消失时，它的所有内存都会消失。但最有可能的是，这只会增加开销而没有任何好处。