java - ANTLR4:消耗所有剩余输入直到 EOF

Question

此处使用 ANTLR 4.3 版。

此语法接受各种 EOF 分隔的表达式，一次一个。表达式以 key 开头，之后的语法有所不同。示例接受的字符串:

"cycle in freerun" <EOF>
"runtime <= 20m" <EOF>
"grab enabled" <EOF>

ANTLR 愉快地将所有表达式解析为组件，监听器作用于相关组件，生活是快乐的。这是语法的代表性片段:

expr               // <-- Start rule
  : freq_p EOF
  | cycle_p EOF
  ...              // Many more, ad nauseum
  ;

freq_p  : FREQ '=' INT | FREQ '<' INT ;

cycle_p : CYCLE IN cycles ;
cycles  : cycle (',' cycle)* ;
cycle   : PHASELOCK | FREERUN ;

// Keywords
CYCLE     : 'cycle' ;
FREERUN   : 'freerun' ;
FREQ      : 'frequency' ;
IN        : 'in' ;
PHASELOCK : 'phaselock' ;

INT       : '0'..'9'+ ;
WS        : [ \n\t\r]+ -> skip ;

但现在，我需要扩展语法以合并 2 个新表达式，这两个表达式都以完全接受任何字符序列(包括 Unicode)到 EOF 结束。示例输入:

"echo = Confirm 'interlock' is clear,\n and actuate \"frequency\" button." <EOF>
"report Process complete." <EOF>

我很难在语法中表达对 EOF 的所有输入的接受。以下变化会导致痛苦:

expr
  ...
  : echo_p EOF
  : report_p EOF
  ...

echo_p   : ECHO   '=' REMAINING ; // Snarfs all remaining input until EOF
report_p : REPORT     REMAINING ; // Ditto

ECHO     : 'echo' ;
REPORT   : 'report' ;

REMAINING : <WHAT_GOES_HERE?> ;  // .* messes up everything else

如何做到这一点？期望的结果是解析树监听器将获得文本值，例如 REMAINING().getText()。

废弃的方法:使用 mode() 的 Lexer 语法

我尝试将 REMAINING 写入单独的 lexer 语法 并从组合语法中导入，但遇到了 https://github.com/antlr/antlr4/issues/160和编译时警告。 IntelliJ ANTLR 插件也会出现故障，这会对生产力产生负面影响。我了解到不支持包含使用模式的词法分析器语法，至少在 ANTLR 4.3 中是这样。

lexer grammar Remainder;

@lexer::members {
// Needed at least until ANTLR issue #160 is fixed.
public static final int CONSUME_ALL = 123;
}

REMAINING : . -> more, mode(CONSUME_ALL) ;

mode CONSUME_ALL;

TEXT : .* ; // Consume all remaining input

Answer 1

您应该通过向其添加 ? 使 .* 成为非贪婪的:

REMAINING : .*? ;

这将消耗所有内容，直到找到 EOF

看这里: https://theantlrguy.atlassian.net/wiki/display/ANTLR4/Wildcard+Operator+and+Nongreedy+Subrules