python - 从 PLY 中的解析器规则发出错误信号

Question

我正在使用PLY解析自定义文件的命令。每行定义一个命令，每个命令都应以保留关键字开头，后跟一些字符串。我已经成功地为语法编写了词法分析器和解析器，但在生产中引发 SyntaxError 时遇到问题。

根据PLY's documentation ，只需从解析器规则体内抛出 SyntaxError 即可实现这一点:

If necessary, a production rule can manually force the parser to enter error recovery. This is done by raising the SyntaxError exception like this:

def p_production(p):
    'production : some production ...'
    raise SyntaxError

当我的代码遇到无效语法时，我的代码会在产生式中引发SyntaxError，但当我运行程序时，不会引发此错误。这是一个最小的工作示例:

from ply import lex, yacc

class Parser(object):
    # reserved keyword tokens
    reserved = {
        "r": "R"
    }

    # top level tokens
    tokens = [
        'CHUNK',
        'NEWLINE'
    ]

    # add reserved tokens
    tokens += reserved.values()

    # ignore spaces and tabs
    t_ignore = ' \t'

    def __init__(self):
        # lexer and parser handlers
        self.lexer = lex.lex(module=self)
        self.parser = yacc.yacc(module=self)

    def parse(self, text):
        # pass text to yacc
        self.parser.parse(text, lexer=self.lexer)

    # detect new lines
    def t_newline(self, t):
        r'\n+'
        # generate newline token
        t.type = "NEWLINE"
        return t

    def t_CHUNK(self, t):
        r'[a-zA-Z0-9_=.:]+'
        # check if chunk is a keyword
        t.type = self.reserved.get(t.value.lower(), 'CHUNK')
        return t

    def t_error(self, t):
        raise SyntaxError("token error")

    def p_instruction_list(self, p):
        '''instruction_list : instruction
                            | instruction_list instruction'''
        pass

    # match instruction on their own lines
    def p_instruction(self, p):
        '''instruction : command NEWLINE
                       | NEWLINE'''
        pass

    def p_command(self, p):
        '''command : R CHUNK CHUNK CHUNK CHUNK'''
        # parse command
        if p[2] not in ["a", "b"]:
            raise SyntaxError("invalid thing")

    def p_error(self, p):
        raise SyntaxError("parsing error")

if __name__ == "__main__":
    parser = Parser()
    parser.parse("""
    r a text text text
    r c text text text
    r b text text text
    """)

上面的示例运行时没有输出任何内容，这意味着它已成功解析文本，即使由于 r c text text text 行而在 p_command 中引发语法错误code> (第二个标记 c 无效；只有 a 或 b 有效)。

我做错了什么？

Answer 1

您有责任打印错误消息，但您不:

One important aspect of manually setting an error is that the p_error() function will NOT be called in this case. If you need to issue an error message, make sure you do it in the production that raises SyntaxError.

我不认为p_error() 应该引发SyntaxError。它应该只打印一条适当的消息(或以其他方式记录发生错误的事实)并让错误恢复继续进行。但无论如何，如上面的引用所示，在这种情况下它不会被调用。

我也不是 100% 相信让词法分析器引发 SyntaxError 。对于词法错误，我的首选策略是将它们传递给解析器，从而将错误处理集中在一处。

如果您不关心错误恢复，请不要在任何规则中使用 error token 。该 token 仅用于错误恢复。如果您只想在遇到错误时立即抛出异常，请在 p_error 中执行此操作，并在不会自动调用的地方显式调用 p_error(例如如标记错误和语义操作中检测到​​的错误)。你可以抛出 ValueError 或从它派生的东西；我会远离 SyntaxError，它对 Ply 和一般而言的 Python 有特殊的意义。