python - XML 解析卡在大(但不是那么大)文件上

Question

我正在使用 python 的优秀 xml 模块来处理我拥有的一些 xml 文件。其中一个文件超过 250 MB。解析时，它似乎挂起。运行 top 显示它正在慢慢填满我的内存，然后开始交换，但在一个多小时内没有返回(此时我终止进程并搜索 SO)。

我是这样盯着这个过程的:

>>> import xml.etree.ElementTree as ET
>>> tree = ET.parse('some_xml_file.xml')

但这就是我的任何尝试。较小的文件工作得很好，但这个大文件会破坏一切。

是什么填满了我的全部 (4 GB) 内存，我该如何避免这种情况？

Answer 1

xml.etree.ElementTree documentation是否记录了这一段:

If you don’t mind your application blocking on reading XML data but would still like to have incremental parsing capabilities, take a look at iterparse(). It can be useful when you’re reading a large XML document and don’t want to hold it wholly in memory.

考虑使用 iterparse()以增量方式处理您的 XML 文件。

此外，您应该考虑切换到 lxml.etree因为它通常速度更快，内存更友好，来源:

• http://lxml.de/performance.html