python - Python 中是否有一个快速的 XML 解析器允许我将标记的开始作为流中的字节偏移量？

Question

我正在处理可能包含来 self 的一个项目的复杂跟踪信息的巨大 XML 文件。

我想为这些 XML 文件建立索引，以便可以快速找到 XML 文档的子部分，而不必将其全部加载到内存中。

如果我创建了一个“搁置”索引，其中可能包含诸如“作者乔的书”之类的信息，这些信息位于偏移量 [22322、35446、54545] 处，那么我可以像打开普通文本文件一样打开 xml 文件并查找那些偏移量，然后将其传递给接受文件或字符串的 DOM 解析器之一。

我还没有弄清楚的部分是如何快速解析 XML 并创建这样的索引。

所以我需要一个快速的 SAX 解析器，它允许我找到文件中标记的起始偏移量以及开始事件。所以我可以将 XML 的一个小节连同起点一起解析到文档中，提取关键信息并将关键和偏移量存储在搁置索引中。

Answer 1

由于定位器返回行号和列号代替偏移量，因此您需要一点包装来跟踪行尾——一个简化的示例(可能有一些 offbyones;-)...:

import cStringIO
import re
from xml import sax
from xml.sax import handler

relinend = re.compile(r'\n')

txt = '''<foo>
            <tit>Bar</tit>
        <baz>whatever</baz>
     </foo>'''
stm = cStringIO.StringIO(txt)

class LocatingWrapper(object):
    def __init__(self, f):
        self.f = f
        self.linelocs = []
        self.curoffs = 0

    def read(self, *a):
        data = self.f.read(*a)
        linends = (m.start() for m in relinend.finditer(data))
        self.linelocs.extend(x + self.curoffs for x in linends)
        self.curoffs += len(data)
        return data

    def where(self, loc):
        return self.linelocs[loc.getLineNumber() - 1] + loc.getColumnNumber()

locstm = LocatingWrapper(stm)

class Handler(handler.ContentHandler):
    def setDocumentLocator(self, loc):
        self.loc = loc
    def startElement(self, name, attrs):
        print '%s@%s:%s (%s)' % (name, 
                                 self.loc.getLineNumber(),
                                 self.loc.getColumnNumber(),
                                 locstm.where(self.loc))

sax.parse(locstm, Handler())

当然你不需要保留所有的 lineloc——为了节省内存，你可以删除“旧”的(在最新查询的下面)但是你需要让 lineloc 成为一个字典，等等。