parsing - 使用 PyParsing 进行增量但完整的解析？

Question

我正在使用 PyParsing 来解析一些相当大的文本文件，这些文本文件具有类似 C 的格式( braces and semicolons 等等)。

PyParsing 工作得很好，但速度很慢，并且由于我的文件大小而消耗大量内存。

因此，我想尝试实现一种增量解析方法，其中我将逐一解析源文件的顶级元素。 pyparsing 的 scanString 方法似乎是执行此操作的明显方法。但是，我想确保 scanString 解析的部分之间没有无效/无法解析的文本，并且无法找出执行此操作的好方法。

这是一个简化的示例，显示了我遇到的问题:

sample="""f1(1,2,3); f2_no_args( );
# comment out: foo(4,5,6);
bar(7,8);
this should be an error;
baz(9,10);
"""

from pyparsing import *

COMMENT=Suppress('#' + restOfLine())
SEMI,COMMA,LPAREN,RPAREN = map(Suppress,';,()')

ident = Word(alphas, alphanums+"_")
integer = Word(nums+"+-",nums)

statement = ident("fn") + LPAREN + Group(Optional(delimitedList(integer)))("arguments") + RPAREN + SEMI

p = statement.ignore(COMMENT)

for res, start, end in p.scanString(sample):
    print "***** (%d,%d)" % (start, end)
    print res.dump()

输出:

***** (0,10)
['f1', ['1', '2', '3']]
- arguments: ['1', '2', '3']
- fn: f1
***** (11,25)
['f2_no_args', []]
- arguments: []
- fn: f2_no_args
***** (53,62)
['bar', ['7', '8']]
- arguments: ['7', '8']
- fn: bar
***** (88,98)
['baz', ['9', '10']]
- arguments: ['9', '10']
- fn: baz

由于 scanString 返回的范围之间存在未解析的文本，因此存在间隙 ((0,10),(11,25),(53,62),(88,98))。其中两个间隙是空格或注释，它们不应触发错误，但其中之一(这应该是一个错误；)包含无法解析的文本，我想捕获该文本。

有没有办法使用 pyparsing 增量解析文件，同时仍然确保可以使用指定的解析器语法解析整个输入？

Answer 1

经过简短的讨论后，我想出了一个似乎相当不错的解决方案on the PyParsing users' mailing list .

我稍微修改了 ParserElement.parseString 方法，得到了 parseConsumeString，它满足了我的需求。此版本调用 ParserElement._parse，然后重复调用 ParserElement.preParse。

以下是使用 parseConsumeString 方法对 ParserElement 进行猴子修补的代码:

from pyparsing import ParseBaseException, ParserElement

def parseConsumeString(self, instring, parseAll=True, yieldLoc=False):
    '''Generator version of parseString which does not try to parse
    the whole string at once.

    Should be called with a top-level parser that could parse the
    entire string if called repeatedly on the remaining pieces.
    Instead of:

        ZeroOrMore(TopLevel)).parseString(s ...)

    Use:

        TopLevel.parseConsumeString(s ...)

    If yieldLoc==True, it will yield a tuple of (tokens, startloc, endloc).
    If False, it will yield only tokens (like parseString).

    If parseAll==True, it will raise an error as soon as a parse
    error is encountered. If False, it will return as soon as a parse
    error is encountered (possibly before yielding any tokens).'''

    if not self.streamlined:
        self.streamline()
        #~ self.saveAsList = True
    for e in self.ignoreExprs:
        e.streamline()
    if not self.keepTabs:
        instring = instring.expandtabs()
    try:
        sloc = loc = 0
        while loc<len(instring):
            # keeping the cache (if in use) across loop iterations wastes memory (can't backtrack outside of loop)
            ParserElement.resetCache()
            loc, tokens = self._parse(instring, loc)
            if yieldLoc:
                yield tokens, sloc, loc
            else:
                yield tokens
            sloc = loc = self.preParse(instring, loc)
    except ParseBaseException as exc:
        if not parseAll:
            return
        elif ParserElement.verbose_stacktrace:
            raise
        else:
            # catch and re-raise exception from here, clears out pyparsing internal stack trace
            raise exc

def monkey_patch():
    ParserElement.parseConsumeString = parseConsumeString

请注意，我还将对 ParserElement.resetCache 的调用移至每个循环迭代中。由于不可能从每个循环中回溯，因此无需在迭代之间保留缓存。这大大减少了使用 PyParsing 时的内存消耗 packrat caching特征。在我使用 10 MiB 输入文件进行的测试中，峰值内存消耗从 ~6G 下降到 ~100M 峰值，同时运行速度提高了约 15-20%。