parsing - 将解析树转换为 AST

Question

让我先提出问题:我可以将实现此特定语法的解析树简单地转换为 AST。

我得到了这个语法来构建解析树:

literal := INTEGER | FLOAT | TRUE | FALSE .

designator := IDENTIFIER { "[" expression0 "]" } .

op0 := ">=" | "<=" | "!=" | "==" | ">" | "<" .
op1 := "+" | "-" | "or" .
op2 := "*" | "/" | "and" .

expression0 := expression1 [ op0 expression1 ] .
expression1 := expression2 { op1  expression2 } .
expression2 := expression3 { op2 expression3 } .
expression3 := "not" expression3
       | "(" expression0 ")"
       | designator
       | call-expression
       | literal .

对于这个特定的例子:

func main() : void {
    let a = 1 + 2 + 3 + 4;
}

我的解析器将生成(部分)解析树

            EXPRESSION1
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(1)(lineNum:2, charPos:10)
                OP1
                  ADD(lineNum:2, charPos:12)
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(2)(lineNum:2, charPos:14)
                OP1
                  ADD(lineNum:2, charPos:16)
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(3)(lineNum:2, charPos:18)
                OP1
                  ADD(lineNum:2, charPos:20)
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(4)(lineNum:2, charPos:22)

只要注意 EXPRESSION1 下的这些 Twig 是如何走的:

EXPRESSION2 + EXPRESSION2 + EXPRESSION2 + EXPRESSION2

其中运算符 + 与其两个操作数不对应。所以在我看来，在 AST 转换中，我无法通过简单地拉起运算符来替换非终端 EXPRESSION1 来获得帮助 3 地址 IR 代码生成的 AST。

为了实现这个目标，我为这种语言编写的语法将是这样的

expression1 := expression2 | expression1 + expression2  (1)
expression2 := expression3 | expression2 * expression3  (2)
expression3 := literal                                  (3)

只有 EXPRESSION1 下的分支

EXPRESSION1 + EXPRESSION2

但是，此语法不是 LL(1)，因为 |FIRST(表达式2)| = |{文字, +}| > 1.

这就引出了一个问题:(1)转换这个解析树最优雅、最简单的方法是什么？ (2) 我构建解析树对于这个语法来说完全是浪费时间吗？我应该开始编写 AST 代码吗？

Answer 1

我相信您希望生成如下 AST:

     ADD
     /  \
    1   ADD
        /  \  
       2   ADD
           / \
          3   4

但您可能注意到，您的解析树实际上是一个平面列表，并不代表单遍中对运算符及其操作数进行分组的简单起点。无论如何，编写更高级的解析器、识别树结构和应用语法简化都不是一项简单的任务。

因此，在开始这样做之前，您可能希望考虑一些现有的解析器生成器，例如 yacc 或 ANTLR。您可能需要重写语法以创建以运算符为中心的规则，而不是将它们视为递归实用程序。不是经典 LL(1) 的语法可能不是一个大问题，因为现代生成器(如 ANTLR)可以处理具有更大前瞻、谓词等的 LL(k) 语法，并且只是绕过该类型的问题。

如果您仍然坚持手动编码，请考虑使用堆栈来存储符号，并在收集表达式后将它们转换为 AST 节点，但这也不是一个简单的任务。