python - Pyparsing setParseAction 函数没有参数

Question

我正在尝试解析一种简单的 key = value 查询语言。我实际上已经用一个巨大的怪物解析器完成了它，然后我第二次通过它来清理解析树。我想做的是自下而上进行干净的解析，其中包括使用集合来处理 (key,val) 对，从而消除冗余对等。虽然我之前已经开始工作，但我不觉得就像我完全理解为什么 pyparsing 会像现在这样行事，所以我做了很多变通等工作，有点与 Cereal 作斗争。

目前，这是我的“简化”解析器的开始:

from pyparsing import *   

bool_act = lambda t: bool(t[0])
int_act  = lambda t: int(t[0])

def keyval_act(instring, loc, tokens):
    return set([(tokens.k, tokens.v)])

def keyin_act(instring, loc, tokens):
    return set([(tokens.k, set(tokens.vs))])

string = (
      Word(alphas + '_', alphanums + '_')
    | quotedString.setParseAction( removeQuotes )
    )
boolean = (
      CaselessLiteral('true')
    | CaselessLiteral('false')
    )
integer = Word(nums).setParseAction( int_act )
value = (
      boolean.setParseAction(bool_act)
    | integer
    | string
    )
keyval = (string('k') + Suppress('=') + value('v')
          ).setParseAction(keyval_act)
keyin = (
    string('k') + Suppress(CaselessLiteral('in')) +
    nestedExpr('{','}', content = delimitedList(value)('vs'))
    ).setParseAction(keyin_act)

grammar = keyin + stringEnd | keyval + stringEnd

目前，“语法”非终结符只是一个 stub ，我最终会向键添加可嵌套的连词和析取，以便可以解析这样的搜索:

a = 1, b = 2 , c in {1,2,3} | d = 4, ( e = 5 | e = 2, (f = 3, f = 4))

不过现在，我无法理解 pyparsing 如何调用我的 setParseAction 函数。我知道在传递多少参数方面有一些神奇之处，但我收到一个错误，其中根本没有将任何参数传递给函数。所以目前，如果我这样做:

grammar.parseString('hi in {1,2,3}')

我收到这个错误:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 1021, in parseString
    loc, tokens = self._parse( instring, 0 )
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 894, in _parseNoCache
    loc,tokens = self.parseImpl( instring, preloc, doActions )
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 2478, in parseImpl
    ret = e._parse( instring, loc, doActions )
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 894, in _parseNoCache
    loc,tokens = self.parseImpl( instring, preloc, doActions )
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 2351, in parseImpl
    loc, resultlist = self.exprs[0]._parse( instring, loc, doActions, callPreParse=False )
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 921, in _parseNoCache
    tokens = fn( instring, tokensStart, retTokens )
  File "/usr/lib/python2.6/site-packages/pyparsing.py", line 675, in wrapper
    return func(*args[limit[0]:])
TypeError: keyin_act() takes exactly 3 arguments (0 given)

从回溯中可以看出，我使用的是 python2.6 和 pyparsing 1.5.6

谁能告诉我为什么函数没有获得正确数量的参数？

Answer 1

嗯，最新版本的 setParseAction 确实做了一些额外的魔法，但不幸的是牺牲了一些开发的简单性。 setParseAction 中的参数检测逻辑现在依赖于在解析操作中引发异常，直到使用正确数量的参数调用它，从 3 开始一直下降到 0，之后它就放弃并引发异常锯。

除了在这种情况下，来自解析操作的异常不是由于参数列表不匹配，而是代码中的真正错误。为了更好地了解这一点，请在您的解析操作中插入一个通用的 try-except:

def keyin_act(instring, loc, tokens): 
    try:
        return set([(tokens.k, set(tokens.vs[0]))]) 
    except Exception as e:
        print e

你得到:

unhashable type: 'set'

事实上，您要从中创建返回集的列表的第二个元素本身就是一个集，一个可变容器，因此不可散列以包含在一个集中。如果您将其更改为使用 frozenset，那么您将获得:

[set([('hi', frozenset([]))])]

为什么 frozenset 是空的？我建议您将结果名称“vs”的位置更改为:

nestedExpr('{','}', content = delimitedList(value))('vs') 

现在解析'hi in {1,2,3}'返回的解析结果是:

[set([('hi', frozenset([([1, 2, 3], {})]))])]

这是一团糟，如果我们将此行放在解析操作的顶部，您将看到不同命名的结果实际包含的内容:

print tokens.dump()

我们得到:

['hi', [1, 2, 3]]
- k: hi
- vs: [[1, 2, 3]]

所以'vs'实际上指向一个包含列表的列表。所以我们可能希望从 tokens.vs[0] 而不是 tokens.vs 构建我们的集合。现在我们的解析结果如下:

[set([('hi', frozenset([1, 2, 3]))])]

关于语法的一些其他提示:

• 尝试使用 CaselessKeyword，而不是 CaselessLiteral。关键字是语法关键字的更好选择，因为它们本质上避免将“inside”的前导“in”误认为是语法中的关键字“in”。

• 不确定从解析操作返回集合的方向 - 对于键值对，元组可能会更好，因为它会保留标记的顺序。在程序的后解析阶段构建您的键和值集。

• 对于其他语法调试工具，请查看 setDebug 和 traceParseAction 装饰器。