c++ - Pygment 词法分析器多个标记

Question

我正在使用 Pygments 的词法分析器，一个 Python 插件。我想获取 C++ 代码的标记，特别是在声明新变量时，例如

int a=3,b=5,c=4;

这里a,b,c应该被赋予类型“声明的变量”，这不同于

a=3,b=5,c=4;

这里 a、b、c 应该简单地赋予类型“变量”，因为它们之前已经声明过。

我想使用词法分析器一次扫描多个标记的能力 (See Pygments documentation) 我想按照以下行编写一个正则表达式

(int)(\s)(?:([a-z]+)(=)([0-9]+)(,))*, bygroups(Type,Space,Name,Equal,Number,Comma)

(“?:”只是告诉 Pygments 这个分组不应该用在 bygroups 中。)

但是，它不会匹配行中的任意数量的声明，它只返回行中最后一个声明的标记(在本例中，“c=4”部分。)我怎样才能让它返回标记行中的所有声明？

Answer 1

您需要的是一个有状态的词法分析器。你的正则表达式不会的原因工作是因为组不是连续的。

int a=3,b=5,c=4;

在这里，您希望字符 0..2 为类型，3..3 空格，4..7 名称，相等数字和逗号，然后是名称、相等、数字和逗号。那不是好的。

解决方案是记住何时看到类型声明，输入一个新的词法分析器模式，该模式一直持续到下一个分号。看 Changing states在 pygments 文档中。

下面是一个使用 CFamilyLexer 并添加了三个新词法分析器的解决方案状态。所以当它在 function 中看到这样一行时状态:

int m = 3 * a + b, x = /* comments ; everywhere */ a * a;

首先它消耗:

int

它匹配我添加的新规则，所以它进入vardecl状态:

m

哦，一个变量名!由于词法分析器处于 vardecl 状态，这是一个新定义的变量。将其作为 NameDecl token 发出。然后进入 varvalue 状态。

3

只是一个数字。

*

只是一个运算符(operator)。

a

哦，一个变量名!但是现在我们处于 varvalue 状态，所以它不是变量声明，只是一个常规变量引用。

+ b

一个运算符和另一个变量引用。

,

变量 m 的值已完全声明。回到 vardecl 状态。

x =

新的变量声明。

/* comments ; everywhere */

另一个状态被压入堆栈。在评论 token 中否则具有重要意义，例如 ; 将被忽略。

a * a

x 变量的值。

;

返回函数状态。特殊变量声明规则完成了。

from pygments import highlight
from pygments.formatters import HtmlFormatter, TerminalFormatter
from pygments.formatters.terminal import TERMINAL_COLORS
from pygments.lexer import inherit
from pygments.lexers.compiled import CFamilyLexer
from pygments.token import *

# New token type for variable declarations. Red makes them stand out
# on the console.
NameDecl = Token.NameDecl
STANDARD_TYPES[NameDecl] = 'ndec'
TERMINAL_COLORS[NameDecl] = ('red', 'red')

class CDeclLexer(CFamilyLexer):
    tokens = {
        # Only touch variables declared inside functions.
        'function': [
            # The obvious fault that is hard to get around is that
            # user-defined types won't be cathed by this regexp.
            (r'(?<=\s)(bool|int|long|float|short|double|char|unsigned|signed|void|'
             r'[a-z_][a-z0-9_]*_t)\b',
             Keyword.Type, 'vardecl'),
            inherit
        ],
        'vardecl' : [
            (r'\s+', Text),
            # Comments
            (r'/(\\\n)?[*](.|\n)*?[*](\\\n)?/', Comment.Multiline),
            (r';', Punctuation, '#pop'),
            (r'[~!%^&*+=|?:<>/-]', Operator),
            # After the name of the variable has been tokenized enter
            # a new mode for the value.
            (r'[a-zA-Z_][a-zA-Z0-9_]*', NameDecl, 'varvalue'),
        ],
        'varvalue' : [
            (r'\s+', Text),
            (r',', Punctuation, '#pop'),
            (r';', Punctuation, '#pop:2'),
            # Comments
            (r'/(\\\n)?[*](.|\n)*?[*](\\\n)?/', Comment.Multiline),                
            (r'[~!%^&*+=|?:<>/-\[\]]', Operator),
            (r'\d+[LlUu]*', Number.Integer),            
            # Rules for strings and chars.
            (r'L?"', String, 'string'),
            (r"L?'(\\.|\\[0-7]{1,3}|\\x[a-fA-F0-9]{1,2}|[^\\\'\n])'", String.Char),
            (r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
            # Getting arrays right is tricky.
            (r'{', Punctuation, 'arrvalue'),
        ],
        'arrvalue' : [
            (r'\s+', Text),
            (r'\d+[LlUu]*', Number.Integer),
            (r'}', Punctuation, '#pop'),
            (r'[~!%^&*+=|?:<>/-\[\]]', Operator),
            (r',', Punctuation),
            (r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
            (r'{', Punctuation, '#push'),
        ]
    }

code = '''
#include <stdio.h>

void main(int argc, char *argv[]) 
{
    int vec_a, vec_b;
    int a = 3, /* Mo;yo */ b=5, c=7;
    int m = 3 * a + b, x = /* comments everywhere */ a * a;
    char *myst = "hi;there";
    char semi = ';';
    time_t now = /* Null; */ NULL;
    int arr[10] = {1, 2, 9 / c};
    int foo[][2] = {{1, 2}};

    a = b * 9;
    c = 77;
    d = (int) 99;
}
'''
for formatter in [TerminalFormatter, HtmlFormatter]:
    print highlight(code, CDeclLexer(), formatter())