python - 如何使用 pycparser 删除 AST 节点？

Question

让我们首先考虑这个片段:

import sys

from pycparser import c_parser, c_ast, c_generator


text = r"""
void main() {
    foo(1,3);

    foo1(4);

    x = 1;

     foo2(4,

        10,


        3);
    foo3(
        "xxx"

    );
}
"""


class FuncCallVisitor(c_ast.NodeVisitor):

    def visit_FuncCall(self, node):
        print('%s called at %s' % (node.name.name, node.name.coord))

        if node.args:
            self.visit(node.args)


class RemoveFuncCalls(c_generator.CGenerator):

    def visit_FuncCall(self, n):
        # fref = self._parenthesize_unless_simple(n.name)
        # return fref + '(' + self.visit(n.args) + ')'
        return ""


if __name__ == '__main__':
    parser = c_parser.CParser()
    ast = parser.parse(text)
    v = FuncCallVisitor()
    v.visit(ast)
    print('-' * 80)

    ast.show(showcoord=True)
    generator = RemoveFuncCalls()

    print('-' * 80)
    print(generator.visit(ast))

上面的输出将是:

void main()
{
  ;
  ;
  x = 1;
  ;
  ;
}

但我希望它变成这样:

void main()
{
  x = 1;
}

所以我的问题是，使用 pycparser 从 AST 中删除节点/子树的规范/惯用方法是什么？

Answer 1

看起来像c_generator.CGenerator调用_generate_stmt method对于类似范围的结构which appends ';\n' (带缩进)到 visit for 语句的结果，即使它是空字符串。

要删除函数调用，我们可以重载它，例如

class RemoveFuncCalls(c_generator.CGenerator):
    def _generate_stmt(self, n, add_indent=False):
        if isinstance(n, c_ast.FuncCall):
            return ''
        else:
            return super()._generate_stmt(n, add_indent)

这样

void main()
{
  x = 1;
}

这看起来像你想要的。

让我们考虑一个案例

if (bar(42, "something"))
    return;

如果我们需要它成为

if ()
    return;

然后我们需要添加

    def visit_FuncCall(self, n):
        return ''

与OP中一样，因为_generate_stmt不会被RemoveFuncCalls.visit_If方法调用以进行cond字段序列化。

更进一步

我不知道什么是“使用 pycparser 从 AST 中删除节点/子树的规范/惯用方法”，但我确实知道 stdlib 中的 ast 模块 - ast.NodeTransformer class (由于某种原因，pycparser 中不存在)。

它将使我们能够通过覆盖私有(private)方法并修改 AST 本身来避免混淆 AST 序列化为 str 的方式

from pycparser import c_ast

class NodeTransformer(c_ast.NodeVisitor):
    def generic_visit(self, node):
        for field, old_value in iter_fields(node):
            if isinstance(old_value, list):
                new_values = []
                for value in old_value:
                    if isinstance(value, c_ast.Node):
                        value = self.visit(value)
                        if value is None:
                            continue
                        elif not isinstance(value, c_ast.Node):
                            new_values.extend(value)
                            continue
                    new_values.append(value)
                old_value[:] = new_values
            elif isinstance(old_value, c_ast.Node):
                new_node = self.visit(old_value)
                setattr(node, field, new_node)
        return node


def iter_fields(node):
    # this doesn't look pretty because `pycparser` decided to have structure 
    # for AST node classes different from stdlib ones
    index = 0
    children = node.children()
    while index < len(children):
        name, child = children[index]
        try:
            bracket_index = name.index('[')
        except ValueError:
            yield name, child
            index += 1
        else:
            name = name[:bracket_index]
            child = getattr(node, name)
            index += len(child)
            yield name, child

对于我们的例子，它可以简单地进行子类化

class FuncCallsRemover(NodeTransformer):
    def visit_FuncCall(self, node):
        return None

和使用方式类似

...
ast = parser.parse(text)
v = FuncCallsRemover()
ast = v.visit(ast)  # note that `NodeTransformer` returns modified AST instead of `None`

之后我们可以使用未修改的 c_generator.CGenerator 实例并获得相同的结果。