java - 有没有办法轻松修改 ANTLR4 的错误消息？

Question

Currenlty 我正在研究自己的语法，我想在 NoViableAlternative、InputMismatch、UnwantedToken、MissingToken 和 LexerNoViableAltException。

我已经扩展了 Lexer.class 并覆盖了 notifyListeners 以将默认错误消息 token recognition error at: 更改为我自己的一。我还扩展了 DefaultErrorStrategy 并覆盖了所有报告方法，例如 reportNoViableAlternative、reportInputMismatch、reportUnwantedToken、reportMissingToken.

所有这些的目的是更改消息，这些消息将传递给监听器 ANTLRErrorListener 的 syntaxError() 方法。

下面是扩展的 Lexer.class 的一个小例子:

    @Override
    public void notifyListeners(LexerNoViableAltException lexerNoViableAltException) {
        String text = this._input.getText(Interval.of(this._tokenStartCharIndex, this._input.index()));
        String msg = "Operator " + this.getErrorDisplay(text) + " is unkown.";
        ANTLRErrorListener listener = this.getErrorListenerDispatch();
        listener.syntaxError(this, null, this._tokenStartLine, this._tokenStartCharPositionInLine, msg,
            lexerNoViableAltException);
    }

或者对于 DefaultErrorStrategy:

    @Override
    protected void reportNoViableAlternative(Parser recognizer, NoViableAltException noViableAltException) {
        TokenStream tokens = recognizer.getInputStream();
        String input;
        if (tokens != null) {
            if (noViableAltException.getStartToken().getType() == -1) {
                input = "<EOF>";
            } else {
                input = tokens.getText(noViableAltException.getStartToken(), noViableAltException.getOffendingToken());
            }
        } else {
            input = "<unknown input>";
        }

        String msg = "Invalid operation " + input + ".";
        recognizer.notifyErrorListeners(noViableAltException.getOffendingToken(), msg, noViableAltException);
    }

所以我读了这个帖子 Handling errors in ANTLR4并且想知道在定制方面是否没有更简单的解决方案？

Answer 1

我改进 ANTLR4 错误消息的策略有点不同。我在我的错误监听器中使用了 syntaxError 覆盖(我有一个用于词法分析器和解析器)。通过使用给定的值和一些其他的东西，比如 LL1Analyzer，你可以创建非常精确的错误消息。 lexer error listener的处理非常简单(希望 C++ 代码对您来说是可以理解的):

void LexerErrorListener::syntaxError(Recognizer *recognizer, Token *, size_t line,
                                     size_t charPositionInLine, const std::string &, std::exception_ptr ep) {
  // The passed in string is the ANTLR generated error message which we want to improve here.
  // The token reference is always null in a lexer error.
  std::string message;
  try {
    std::rethrow_exception(ep);
  } catch (LexerNoViableAltException &) {
    Lexer *lexer = dynamic_cast<Lexer *>(recognizer);
    CharStream *input = lexer->getInputStream();
    std::string text = lexer->getErrorDisplay(input->getText(misc::Interval(lexer->tokenStartCharIndex, input->index())));
    if (text.empty())
      text = " "; // Should never happen.

    switch (text[0]) {
      case '/':
        message = "Unfinished multiline comment";
        break;
      case '"':
        message = "Unfinished double quoted string literal";
        break;
      case '\'':
        message = "Unfinished single quoted string literal";
        break;
      case '`':
        message = "Unfinished back tick quoted string literal";
        break;

      default:
        // Hex or bin string?
        if (text.size() > 1 && text[1] == '\'' && (text[0] == 'x' || text[0] == 'b')) {
          message = std::string("Unfinished ") + (text[0] == 'x' ? "hex" : "binary") + " string literal";
          break;
        }

        // Something else the lexer couldn't make sense of (likely there is no rule that accepts this input).
        message = "\"" + text + "\" is no valid input at all";
        break;
    }
    owner->addError(message, 0, lexer->tokenStartCharIndex, line, charPositionInLine,
                    input->index() - lexer->tokenStartCharIndex);
  }
}

此代码表明我们根本不使用原始消息，而是检查 token 文本以查看问题所在。这里我们主要处理未闭合的字符串:

parser error listener复杂得多，太大了，无法在这里发布。它是构建实际错误消息的不同来源的组合:

• Parser.getExpectedTokens():使用 LL1Analyzer 从 ATN 中的给定位置获取下一个可能的词法分析器标记(所谓的跟随集)。但是，它会查看谓词，这可能是个问题(如果您使用这种谓词)。

• 标识符和关键字:在特定情况下，某些关键字通常被允许作为普通标识符，这会创建包含实际上是标识符的关键字列表的后续集，因此需要额外检查以避免显示它们作为预期值:

• 解析器规则调用堆栈，在调用错误监听器期间，解析器具有当前解析器规则上下文 (Parser.getRuleContext())，您可以使用它来遍历调用堆栈, 找到为您提供有关错误位置的更具体信息的规则上下文(例如，从 * 匹配到假设的 expr 规则告诉您实际上是一个表达式预计此时)。

• 给定的异常:如果为 null，则错误是关于丢失或不需要的单个标记，这很容易处理。如果异常有一个值，您可以检查它以获取更多详细信息。这里值得一提的是，没有使用异常的内容(而且相当稀少)，而是使用之前收集的值。最常见的异常类型是 NoViableAlt 和 InputMismatch，当错误位置为 EOF 时，您可以将它们都转换为“输入不完整”或类似“输入无效”在这个位置”。然后可以通过从规则调用堆栈和/或上文提到的(如图所示)构造的期望来增强两者。