python - AnTLR4:INDENT 和 DEDENT 代币

Question

我正在 AnTLR4 中实现 Python 语法，但我面临着与此处讨论的 INDENT 和 DEDENT 相同的问题:ANTLR4- dynamically inject token

我正在尝试的解决方案是通过可以在此处找到的 Ter 转换解决方案 http://antlr3.org/grammar/1078018002577/python.tar.gz (覆盖 nextToken 并插入虚构的标记)。

问题是这个解决方案假设我们有一个像这样的词法分析器规则:

LEADING_WS
    :   {getColumn()==1}?
        // match spaces or tabs, tracking indentation count
        (   ' '  { spaces++; }
        |   '\t' { spaces += 8; spaces -= (spaces % 8); }
        |   '\014' // formfeed is ok
        )+
        {
        }
        ...

但我一直收到错误，因为词法分析器规则中的操作必须是单个 altermost 替代方案的最后一个元素。

谁能帮我找到解决办法？

非常感谢!!!

Answer 1

您需要将涉及空格 的计算移动到LEADING_WS 规则的末尾或nextToken 的实现。在 LEADING_WS 的末尾，它可能如下所示。

LEADING_WS
  : {getColumn()==1}?
    // match spaces or tabs, tracking indentation count
    [ \t]+
    {spaces = computeSpaces(_input.getText());}
    ;