python - 解析 "simple"语法

Question

提前致歉；我敢肯定，对于那些习惯于使用解析器和语法的人来说，这个问题看起来几乎是愚蠢的，但这些对我来说是陌生的话题，这是我尝试轻轻地进入需要它们的实际案例。

我想为以下“语言”编写一个解析器，它包含一个看起来像这样的“特殊结构”:

\command[ options ]{ contents }

内容可以是任何内容，包括嵌套命令，并且可以包含转义括号或反斜杠 \{\}\\。我意识到“任何东西”都不是特定的，但理想情况下，如果可能的话，它们应该通过匹配的括号(不包括转义的括号)来确定。

选项应该是逗号分隔的赋值表达式列表，例如name = value，但value可以是包含=或的带引号的字符串， 个字符。最后，前面的 name 和 command 应该验证正则表达式 \w[\w\d\._-+*]* —— 即即，第一个字符应为字母，其余字符应为字母、数字或之一。 _ - + *.

用正则表达式写这个似乎过于复杂(例如，因为值可能包含引号字符 、=，否则它们会分隔赋值或名称/值对)。所以我认为这里最合适的工具是语法，但尽管阅读浅薄，我只是不确定如何编写它(BNF、PEG 等？)、使用哪种类型的解析器(LR、递归体面等？) ，以及我如何在实际程序中使用解析输出。

我更喜欢用 Python 来回答，它解释了标签，但当然，如果需要/更适合，我会非常乐意使用工具组合。

---

注意:这与 LaTeX 无关。我当然意识到它们的相似性，但 LaTeX 比以前的语言复杂得多，例如字符代码会根据上下文而变化。我只是要求一个实际的例子，它(我认为)对于 SO 来说足够简单，但在我的日常工作中已经对我有用了。

Answer 1

首先用您喜欢的任何符号更正式地表达您的语法。例如，根据您的描述，EBNF 将是这样的:

program := element+
element := command | literal
literal := (not '\')+

command := '\'identifier options? '{' program '}'
options := option | options ',' option
option  := identifier '=' value
value   := number | string

string  := '"' (escape | not '\' or '"')* '"'
escape  : = '\' char

然后将其提供给解析器生成器(pyParsing、pyYACC、ANTLR)或手动编写解析器。在后一种情况下，自上而下是最简单的选择:从语法的顶部开始并将每个规则转换为一个函数，该函数将返回已解析的 AST 节点并使用输入或不返回任何内容或抛出异常。示例:

 def program():
    elements = []
    while next_sym():
        elements.append(element())
    return {'type': 'program', 'children': elements}

 def element():
     return command() or literal()

 def command():
     if next_sym() == '\\':
         get_sym()
         ...parse command here
         return {'type': 'command', 'children': ...}
     return None 

其中 next_sym 返回输入中的下一个符号(或 EOF 上的 None)，get_sym 使用该符号并推进输入缓冲区。