c# - 为什么 input.TokenStream 解析为 null？

Question

使用 antlr，我正在尝试为这样的树制作一个 TreeWalker:

输入:int x = 3

输出 AST:^(VARDEF int x 3)

我的解析器工作得很好并且还生成了一个如上所示的 AST，但是每当我想从 AST 解析任何东西时，比如 $variableType.text，在生成的 C# 2.0 TreeWalker 中总是有一个 NullReferenceException。

我的树行者:

tree grammar SGLTreeWalker;
options {
    tokenVocab = SGL;
    language = 'CSharp2'; 
}

[...]

compilationUnit
    :   (statement)+
    ;

statement
    :   variableDefinitionList
    ;

variableDefinitionList
    :   ^(VARDEF variableType variableName expression) { Console.WriteLine($variableType.text); }
    ;
[...]

由规则“variableDefinitionList”生成的有问题的部分如下所示:

Match(input, Token.UP, null);
Console.WriteLine(((variableType1 != null) ? input.TokenStream.ToString(
    input.TreeAdaptor.GetTokenStartIndex(variableType1.Start),
    input.TreeAdaptor.GetTokenStopIndex(variableType1.Start)) : null)); 

事实证明，input.TokenStream 为空，因此抛出 NullReferenceException。我读到如果使用的 TreeNodeStream 没有被缓冲就会发生这种情况，但我使用了 CommonTreeNodeStream 所以我认为它应该被缓冲。这是我用来提交 AST 的代码:

[...]
SGLParser parser = new SGLParser(tStream);
CommonTree t = (CommonTree) parser.compilationUnit().Tree;
Console.WriteLine("; " + t.ToStringTree());
CommonTreeNodeStream  treeStream = new CommonTreeNodeStream(t);
SGLTreeWalker tw = new SGLTreeWalker(treeStream);
tw.compilationUnit();

当我只想获取 $variableType.text 属性时，知道为什么 input.TokenStream 解析为 null 吗？

Answer 1

那是因为在树语法中，产生式规则返回一个 TreeRuleReturnScope，它没有 text 属性(或 GetText() 方法)。

如果您想获取 variableType 规则的文本，您需要显式返回一个 string。

演示:

---

SGL.g

grammar SGL;

options {
  language=CSharp2;
  output=AST;
}

tokens {
  VARDEF;
}

@parser::namespace { SGL }
@lexer::namespace { SGL }

public compilationUnit
  :  statement+ EOF
  ;

statement
  :  variableDefinitionList
  ;

variableDefinitionList
  :   variableType variableName '=' expression 
      -> ^(VARDEF variableType variableName expression)
  ;

variableType
  :  Type
  ;

variableName
  :  ID
  ;

expression
  :  Int
  ;

Type
  :  'int'
  |  'double'
  ;

Int
  :  '0'..'9'+
  ;

ID
  :  ('a'..'z' | 'A'..'Z')+
  ;

Space
  :  ' ' {Skip();}
  ;

---

SGLTreeWalker.g

tree grammar SGLTreeWalker;

options {
  tokenVocab=SGL;
  language=CSharp2; 
  ASTLabelType=CommonTree;
}

@namespace { SGL }

compilationUnit
  :  statement+
  ;

statement
  :  variableDefinitionList
  ;

variableDefinitionList
  :   ^(VARDEF variableType variableName expression) 
      {Console.WriteLine($variableType.txt);}
  ;

variableType returns [string txt]
  :  Type {$txt = $Type.text;} // note that `Type` is still a normal token! 
  ;

variableName
  :  ID
  ;

expression
  :  Int
  ;

---

类:

using System;
using Antlr.Runtime;
using Antlr.Runtime.Tree;

namespace SGL
{
  public class Test
  {
    public static void Main (string[] args)
    {
      ANTLRStringStream Input = new ANTLRStringStream("int x = 3");
      SGLLexer Lexer = new SGLLexer(Input);
      CommonTokenStream Tokens = new CommonTokenStream(Lexer);
      SGLParser parser = new SGLParser(Tokens);
      CommonTree t = (CommonTree) parser.compilationUnit().Tree;
      CommonTreeNodeStream  treeStream = new CommonTreeNodeStream(t);
      SGLTreeWalker tw = new SGLTreeWalker(treeStream);
      tw.compilationUnit();
    }
  }
}

产生以下输出:

int