java - 组合语法有效，但当词法分析器和解析器语法分离时出错？

Question

原创

这是我第一次在 stackoverflow 上提问，所以我希望解决方案不是太明显。我正在尝试使用 antlr 解析 xml 文件中的数据，以便为我在 eclipse 中创建的 java 程序生成可用的标记。我只有在 antlr-works IDE 中使用 antlr 来生成我需要合并的 java 代码的经验。问题是，我的 xml 文件非常大且复杂，所以开始时，我只想一次查看几个属性。为了让事情对我来说更简单，我正在尝试使用过滤器选项来筛选并仅获取与我的 token 定义匹配的数据。我意识到过滤器选项只能在你分别定义你的解析器和词法分析器语法时使用，但是当我试图调整我的组合语法时，我突然开始在错误提示丢失或不需要的标记后出错，我一直在拉我的头发试图理解为什么一个有效而不是另一个。我将它们保存在同一个文件中，删除选项语句对解决问题没有任何帮助。

这是我的组合语法，后面是我改编的语法，如果有人能给我任何帮助或指导，我将不胜感激。

合并:

grammar dataExtract;

prog    :    .*;

SOF     :      ('<posts>');

Tag_string :    ('<')(.~'>')+('>');

Tag :   ('Tags="')Tag_string+('"');

WS  :   ( ' '
        | '\t'
        | '\r'
        | '\n'
        ) {$channel=HIDDEN;}
    ;

EOF :   '</posts>';

分隔:

parser grammar dataExtract;

prog    :    .*;

lexer grammar dataExtract


SOF     :      ('<posts>');


options{filter=true};

Tag_string :    ('<')(.~'>')+('>');

Tag :   ('Tags="')Tag_string+('"');

WS  :   ( ' '
        | '\t'
        | '\r'
        | '\n'
        ) {$channel=HIDDEN;}
    ;

EOF :   '</posts>';

已更新

感谢您的回答，这对我来说现在很有意义，而且我的语法也快要用上了，看来我只剩下一个问题了。解析器语法似乎工作得很好，antlrworks 甚至生成了一个 Java 类而没有提示，但是，当我将词法分析器定义保存在它自己的 .g 文件中时，词法分析器规则似乎仍然中断，即使我定义的唯一规则是 All : .*;，我得到一个 EarlyExitException。另外，如果我理解正确的话，tokenVocab 选项会从词法分析器语法中搜索 token 文件，但是由于我遇到错误并且它没有生成任何代码，所以还没有创建 token 文件，所以我假设没有它，不应正确生成解析器。知道发生了什么吗？我曾尝试搜索类似的问题，但很多 Material 似乎断言此错误是在输入中未找到符合规则的标记时引起的，但由于我什至还没有达到我给它输入的地步不可能这样。

Answer 1

当分离词法分析器和解析器语法时，ANTLR 不会在生成的 .java 源文件的名称后附加 "Lexer" 或 "Parser"。所以在这种情况下你应该使用唯一的名字:

解析器

parser grammar DataExtractParser;

options {
  tokenVocab=DataExtractLexer; 
}

...

词法分析器

lexer grammar DataExtractLexer;

...

此外，正如我之前提到的，通过 tokenVocab=LEXER_GRAMMAR_NAME; 选项明确指示解析器应使用哪些标记(词法分析器规则)。