lexer - 如何使用 antlr 4 TokenStream 作为可迭代流？

Question

我已经使用 antlr 4 创建了一个词法分析器来标记土耳其语自然语言文本，我需要做的是有一个标记流，我可以一个一个地获取标记。如果我像这样使用 CommonTokenStream 会返回一个列表:

ANTLRInputStream inputStream = new ANTLRInputStream(input);
TurkishLexer lexer = new TurkishLexer(inputStream);
CommonTokenStream tokenStream = new CommonTokenStream(lexer);
List<Token> tokens = tokenStream.fill();
for (Token token : token) ...

但是我不想构建 token 列表，因为我的输入可能很大，我只想要这样的东西:

for (Token token: tokenStream.next()) ...

我会迭代直到获得 EOF token 。

是否有允许我迭代 token 的 token 流？

Answer 1

而不是使用 CommonTokenStream ，你可以简单地使用 Lexer.nextToken .

for (Token token = lexer.nextToken();
     token.getType() != Token.EOF;
     token = lexer.nextToken())
{
    ...