java - JFlex 限制单行注释正则表达式

Question

我正在为一种虚构语言构建一个词法分析器，并且在定义单行注释正则表达式时遇到问题。

问题是评论允许的字符受到限制。仅允许使用某些字符，其中包括:空格、数字、字母和一些符号(例如 * 、 / 、 + 、 - )。单行注释以 // 开头(如在 C 和 Java 中) ，其定义(限制字符除外)与 C 和 Java 中的相同。

首先我尝试了以下正则表达式:

"//" ([a-zA-Z0-9] | [*] | [/] | [+] | [-] | [ \t\f])* (\r|\n|\r\n)

这有望捕获单行注释，但不幸的是，这并没有捕获文件末尾的单行注释，因为它末尾没有行终止符。

我尝试将其更改为:

"//" ([a-zA-Z0-9] | [*] | [/] | [+] | [-] | [ \t\f])* ((\r|\n|\r\n) | [^.])

希望 [^.]会发现注释后不允许有任何字符(以某种方式模拟 EOF ？)，但这不起作用，正则表达式会捕获所有内容，直到出现禁止的字符，例如: // comment = 1翻译为single line comment , = , 1 。

我无法使用 JFlex 的 <<EOF>>因为它不能是正则表达式的一部分。

是否有一个好的正则表达式解决这个问题？ (假设我无法修改输入)。

谢谢!

Answer 1

来自 jflex 手册:
http://jflex.de/manual.html#Example

TraditionalComment   = "/*" [^*] ~"*/" | "/*" "*"+ "/"
// Comment can be the last line of the file, without line terminator.
EndOfLineComment     = "//" {InputCharacter}* {LineTerminator}?
DocumentationComment = "/**" {CommentContent} "*"+ "/"
CommentContent       = ( [^*] | \*+ [^/*] )*

另请注意，您可以使用 %eofval 来使用特定的 eof 值，这也在我上面发布的手册中进行了讨论。

我意识到您特别要求正则表达式解决方案，但也可能有更好的方法通过使用词法状态来简化此问题 - 您可以使用符号“//”指示注释状态的入口;一旦处于该状态，您可以抓取所有字母数字字符，直到您点击单行的行结束符，返回 tag.comment 标记，然后转换回 yyinitial 状态并继续进行词法分析。

例如，包括我上面讨论的所有内容:

%%
%state COMMENT
%%
%eofval{
    return getToken(tag.EOF, null);
%eofval}


comment = "//"
eol = "\r\n\"
characters = [a-zA-Z0-9] | [*] | [/] | [+] | [-]
%%
<YYINITIAL> {comment}{
    yybegin(COMMENT);
    return getToken(tag.Comment, yytext());
}

<COMMENT> {characters}{eol}{
    yybegin(YYINITIAL);
}

**免责声明，这作为词法分析器是不完整的，并且是我凭空想象出来的。这更多的是为了演示我上面讨论的示例