d - 解析器生成器和 Ragel……制作我自己的 D 解析器

Question

我是编译器世界的新手，最近听说了一种叫做解析器生成器的东西。根据我(认为)我所理解的，解析器生成器接收一个语法文件并输出一个源代码文件，该文件可以使用给定的语法解析文件。

几个问题:

我理解正确吗？

如果是这样，Ragel 是这样的工具吗？

如果是的话，Ragel能不能把D解析器输出成D源代码？

谢谢!

Answer 1

基本上就是这样。解析器生成器将语法转换为源文件，该文件可用于识别作为 language 成员的字符串。由语法定义。通常，但并非总是如此，解析器生成器需要词法分析器在其工作之前将文本分解为标记。 Lex and Yacc是配对词法分析器和解析器生成器的经典示例。
现代解析器生成器提供了附加功能。例如，ANTLR可以生成词法分析、语法分析的代码，甚至可以遍历生成的抽象语法树。 Elkhound生成一个使用 GLR 的解析器解析算法。这使它能够识别比非通用解析算法更广泛的语言。 PEG Parsers不需要单独的词法分析器。

Ragel 实际上以有限状态机的形式生成词法分析器。它可以识别 regular language但不是 context-free语。这意味着它无法识别大多数编程语言，包括 D。

如果您需要快速词法分析器，Ragel 确实会生成 D 代码。

要完全理解解析器生成器为您做什么，您需要一些形式语言和解析理论。有比 The Dragon Book 更糟糕的起点.另见: Learning to write a compiler .
如果您感到勇敢，请务必查看随 DMD 编译器分发的词法分析和解析代码 -/dmd2/src/dmd/- lexer.c 和 parse.c。