python - Pyparsing中的关键字匹配 : non-greedy slurping of tokens

Question

Python 爱好者:

假设您想使用 Pyparsing 解析以下字符串:

'ABC_123_SPEED_X 123'

ABC_123 是一个标识符； SPEED_X 是一个参数，123 是一个值。我想到了以下使用 Pyparsing 的 BNF:

Identifier = Word( alphanums + '_' )
Parameter = Keyword('SPEED_X') or Keyword('SPEED_Y') or Keyword('SPEED_Z')
Value = # assume I already have an expression valid for any value
Entry = Identifier + Literal('_') + Parameter + Value
tokens = Entry.parseString('ABC_123_SPEED_X 123')
#Error: pyparsing.ParseException: Expected "_" (at char 16), (line:1, col:17)

如果我从中间删除下划线(并相应地调整 Entry 定义)它会正确解析。

我怎样才能让这个解析器更懒一点，等待它匹配关键字(而不是将整个字符串作为标识符并等待 _，它不存在。

谢谢。

[注意:这是对我的问题的完全重写；我还没有意识到真正的问题是什么]

Answer 1

我的回答基于 this one ，因为您要做的是获得非贪婪匹配。这似乎很难在 pyparsing 中实现，但通过一些聪明和妥协​​并非不可能。以下似乎有效:

from pyparsing import *
Parameter = Literal('SPEED_X') | Literal('SPEED_Y') | Literal('SPEED_Z')
UndParam = Suppress('_') + Parameter
Identifier = SkipTo(UndParam)
Value = Word(nums)
Entry = Identifier + UndParam + Value

当我们从交互式解释器运行它时，我们可以看到以下内容:

>>> Entry.parseString('ABC_123_SPEED_X 123')
(['ABC_123', 'SPEED_X', '123'], {})

请注意，这是一种妥协；因为我使用 SkipTo，Identifier 可以充满邪恶、令人作呕的字符，而不仅仅是漂亮的 alphanums 和偶尔的下划线。

编辑:感谢 Paul McGuire，我们可以通过将 Identifier 设置为以下内容来制定一个真正优雅的解决方案:

Identifier = Combine(Word(alphanums) +
        ZeroOrMore('_' + ~Parameter + Word(alphanums)))

让我们来看看它是如何工作的。首先，忽略外层的 Combine；我们稍后再谈。从 Word(alphanums) 开始，我们知道我们将获得引用字符串的 'ABC' 部分，'ABC_123_SPEED_X 123'。重要的是要注意，在这种情况下我们不允许“单词”包含下划线。我们将其单独构建到逻辑中。

接下来，我们需要捕获 '_123' 部分，同时不要吸入 '_SPEED_X'。我们现在也跳过 ZeroOrMore 并稍后返回。我们将下划线作为 Literal 开始，但我们可以仅使用 '_' 进行快捷方式，这将使我们成为前导下划线，但不是所有的 '_123 '。本能地，我们会放置另一个 Word(alphanums) 来捕获其余部分，但这正是消耗所有剩余的 '_123_SPEED_X' 会给我们带来麻烦的原因。相反，我们说，“只要下划线后面的不是Parameter，就将其解析为我的Identifier的一部分。我们声明在 pyparsing 术语中为 '_' + ~Parameter + Word(alphanums)。由于我们假设我们可以有任意数量的下划线 + WordButNotParameter 重复，我们将该表达式包装为 ZeroOrMore 构造。(如果您总是希望在首字母后至少有下划线 + WordButNotParameter，则可以使用 OneOrMore。)

最后，我们需要将初始 Word 和特殊的下划线 + Word 重复放在一起，以便理解它们是连续的，而不是用空格分隔，所以我们将整个表达式包装在 Combine 中构造。这样 'ABC _123_SPEED_X' 将引发解析错误，但 'ABC_123_SPEED_X' 将正确解析。

另请注意，我必须将 Keyword 更改为 Literal，因为前者的方式过于微妙且容易激怒。我不信任 Keyword，也无法与它们匹配。