java - ANTLR4如何根据规则改变隐藏字符？

Question

我正在尝试解析结构不良的输入文件，因为通常会跳过换行符，但在某些情况下它用于终止语句，因此有时必须匹配它。然而在这种情况下，换行符似乎成为一般的普通标记并且无法被跳过。

为了说明我的问题，请考虑以下语法:

text
    : (line '\n')+
    ;

line
    : ( ID )+
    | '(' ID* ')'
    ;

ID  : [a-zA-Z]+
    ;

WS  : [ \t\n\r]+ -> skip
    ;

在这个语法中，我想解析如下语句:

a b
c d
(e
f)

但是我收到以下错误:

line 3:2 extraneous input '\n' expecting {')', ID}

因为括号内的换行符不会被跳过。语法本身要复杂得多，因此不可能简单地输入“'\n'？”任何需要的地方。

处理这个问题的最佳方法是什么？

Answer 1

对于我的两个建议，您需要将空白设置为隐藏 channel (而不是跳过它)。

要灵活控制空格(或换行符)，您可以应用以下解决方案 Allow Whitespace sections ANTLR4 。您可以在语法中的每个点启用/禁用空格。

另一种方法是将 \n 设置为隐藏 channel ，但不将其作为标记而是作为语义谓词包含在规则中。

text
  : (line {/*check that the last whitespace contained a newline*/}?)+
  ;

对于实现，您可以使用 BufferedTokenStream#getHiddenTokensToRight 或 BufferedTokenStream#getHiddenTokensToLeft (两者都允许读取隐藏的 channel token )。