java - 有没有办法可以修改 ParseTree 及其附带的 TokenStream？

Question

我的问题既是语言实现问题，也是 ANTLR4 API 问题。 有什么办法可以修改 ParseTree 及其附带的 TokenStream 吗？

这是场景。我有一种定义数据流程序的简单语言。您可以在github上看到它，如果你好奇的话。我使用 ANTLR4 来词法和解析该语言。我使用监听器来遍历解析树并评估代码。

我最近遇到的问题是我需要能够在运行时修改代码。我需要能够定义新对象并从中创建实例。请注意，我并不是指在语言中进行反射(reflection)。我指的是让像 IDE 这样的程序修改源代码的内部表示。

我已经开始定义一堆定义对象来创建 AST，但我刚刚意识到这种方法需要我提出自己的解决方案来遍历 AST。与其重新发明轮子，我宁愿使用 ANTLR 的听众/访问者。

我面临的另一个问题是需要能够在任何时间点将当前状态 AST 作为代码输出(我嵌入语言的工具需要能够保存。)我正在使用 StringTemplate 来从我的定义对象生成代码。我想我应该能够让 ST 渲染解析树。

一般来说，我需要能够在运行时内进行词法分析、解析、评估、重构、评估和生成代码。

我想知道修改 ParseTree/TokenStreams 的最佳方法是什么，而不是创建自己的定义对象？

Answer 1

我检查了你的语言。它看起来很简单，我也这么认为。

根据您的描述，我的工作基础是 IDE 将直接在树上操作。鉴于这就是您所需要的:

1. 适合您的语言的解析器，用于将源代码转换为树。 ANTLR 可以做到这一点，但您可能需要构建自己的树，而不是依赖提供的内容。编写自己的解析器并不难。
2. 树重写规则。一系列允许的树转换，以确保其保持有效。这可以采用在树上操作的 API 的形式。这个http://www.program-transformation.org/Transform/TreeRewriting可能会有帮助。
3. 源代码生成。从树重建源代码的能力。如果您需要保留注释和格式，则 (a) 将它们包含在语法中 (b) 将生成的源代码与编写的代码合并。

最终结果是您可以往返源代码或生成的树中的任何更改。如果您认为这需要大量工作，那么确实如此。然而，它是许多其他旨在提供这些设施的工具的基础。可取之处在于您的语言很简单。