python - 有什么方法可以知道 ElementTree DOM 消耗了多少内存？

Question

假设您执行以下操作:

dom = ElementTree()
dom.parse(some_file_path)

我想记录这个 dom 现在在我的进程中使用的粗略内存量。我不需要精确的东西，粗略的东西就可以了。

我认为我无法从源 XML 文件的大小中得出它。我有一个 500 KB 的文件，如上例所示，它在加载 python 进程后似乎增加了大约 5MB 的内存使用量。

我查看了 ElementTree API，没有看到任何提供此信息的 API。有人知道在解析/加载 XML 文件后了解 ElementTree 实例使用了多少内存的方法吗？

Answer 1

本质上，您想要查找特定 python 对象的内存消耗。就是这样。这是一个 ElementTree 对象，但它可以是任何东西。

据我所知没有简单的方法可以找出 python 对象的内存大小。您可能会发现的问题之一是 Python 对象(如列表和字典)可能引用了其他 Python 对象(在这种情况下，您的大小是多少？大小是否包含每个对象的大小？)。有一些指针开销和与对象类型和垃圾回收相关的内部结构。最后，一些 python 对象具有不明显的行为。例如，在大多数情况下，列表为比它们拥有的更多对象保留空间；字典甚至更复杂，因为它们可以以不同的方式运行(它们对少量键有不同的实现，有时它们会过度分配条目)。

• 有一个big chunk of code在那里尝试最好地估计内存中 python 对象的大小。还有一些 simpler approximations .但它们始终是近似值。
• 您可能还想检查一些 old description about PyObject (代表几乎所有 python 对象的内部 C 结构)。
• 还有 PySizer，“Python 的内存分析器”，位于 http://pysizer.8325.org/ .但是该页面似乎表明该项目已经有一段时间没有更新了，并且指的是...
• 您可以试试 Heapy，“支持 [ing] 调试和优化 Python 程序中与内存相关的问题，”位于 http://guppy-pe.sourceforge.net/#Heapy .
• objgraph 看起来很有趣:http://mg.pov.lt/objgraph/