parsing - 可以使用ANTLR解析大文件吗？

Question

是否可以指示ANTLR不要将整个文件加载到内存中？它可以一一应用规则并按顺序生成最顶层的节点列表以及读取文件吗？也可能以某种方式删除已分析的节点吗？

Answer 1

是的，您可以使用:

UnbufferedCharStream 用于您的字符流(传递给lexer)

token 流的

UnbufferedTokenStream (传递给解析器)

此 token 流实现在 token channel 上没有区别，因此请确保在词法分析器规则中使用->skip而不是->channel(HIDDEN)作为不应发送到解析器的命令。

确保在解析器上调用 setBuildParseTree(false) ，否则将为整个文件创建一个巨型解析树。

编辑并添加一些其他注释:

我做了很多工作，以确保UnbufferedCharStream和UnbufferedTokenStream尽可能以最“合理”的方式运行，尤其是与mark，release，seek和getText方法相关的工作。我的目标是在不损害流释放未使用内存的能力的情况下，尽可能保留这些方法的功能。

ANTLR 4允许无限的前瞻性。如果您的语法需要先到EOF才能做出决定，那么您将无法避免将整个输入加载到内存中。在编写语法时，您必须格外小心以避免这种情况。