对基于 ANTLR 的树的语义分析访问者进行单元测试

Question

我正在开发一个小型编译器。在我过去使用的编译器中，我只是忽略单元测试，通过系统测试进行所有测试。它工作得相当好，但我觉得它总是远非完美。这一次我很想尝试以不同的方式制作东西。

现在特别关注语义分析阶段，我希望我的每位访问者都有一组相关联的单元测试。但要做到这一点，我必须完成以下两件事之一。我要么:

1. 当我只想对与方法相关的访问者进行单元测试时，以这样一种方式构建我的语法，使我不必定义包、定义类等。一个例子是测试在给定方法中没有定义重复的变量——理想情况下我不需要知道这个方法在包内的类内。按照这条路径，我的 ANTLR 语法将能够解析诸如 void m() { int x = 1; 之类的东西。整数 y = 2；整数 x = 3; 虽然在现实世界中(对于最终用户)这不是允许的源代码，因为在我的语言中，方法必须始终包含在始终包含的类中在一个包中；

2. 花时间了解 ANTLR 的来龙去脉，以及如何在我的 junit 测试中以编程方式创建节点。比如

   MethodNode method = new MethodNode();
方法.setName("m");
method.addChildren(new VarDecl("x", new IntegerExpr("1")));
method.addChildren(new VarDecl("y", new IntegerExpr("2")));
method.addChildren(new VarDecl("x", new IntegerExpr("3")));

   如果 ANTLR 的 API 对于这种目的是“友好的”，这可能是一个合适的解决方案。我看了一点点，被节点构造函数中的一些血淋淋的细节吓到了由我，程序员，但我可能是错的..);

3. 创建我自己的 AST，作为解析阶段的第一步，我将 ANTLR 的树转换为我的树。一方面，这会有点麻烦，另一方面，完全控制树可以促进其他事情的进行。

我只能假设这是编译器开发人员经常关心的问题。您如何处理这种特定情况？

谢谢

Answer 1

我确实遇到了同样的问题(至少我希望如此，我承认我不太明白你所说的了解包和包中的类是什么意思)并且由于我没有找到另一个解决方案我自己创建了一个例子 - the full source can be found on GitHub .

项目中最重要的部分显然是访问者:

public class MyVisitor extends DemoBaseVisitor<String> {
    @Override
    public String visitPlus(final DemoParser.PlusContext ctx) {
        return visit(ctx.left) + " PLUS " + visit(ctx.right);
    }

    @Override
    public String visitLiteralNumber(final DemoParser.LiteralNumberContext ctx) {
        return ctx.getText();
    }
}

我对该访问者的任何测试:

public class MyVisitorTest {
    private final MyVisitor myVisitor = new MyVisitor();

    @Test
    public void visitPlus_joinsOperatorsWithWordPLUSAsSeparator() throws Exception {
        // setup
        final DemoParser.PlusContext plusNode = mock(DemoParser.PlusContext.class);
        plusNode.left = mockForVisitorResult(DemoParser.ExpressionContext.class, "2");
        plusNode.right = mockForVisitorResult(DemoParser.ExpressionContext.class, "4");

        // execution
        final String actual = myVisitor.visitPlus(plusNode);

        // evaluation
        assertEquals(actual, "2 PLUS 4");
    }

    private<T extends RuleContext> T mockForVisitorResult(final Class<T> nodeType, final String visitResult) {
        final T mock = mock(nodeType);
        when(mock.accept(myVisitor)).thenReturn(visitResult);
        return mock;
    }

    @Test
    public void visitLiteralNumber_returnsTextValueOfNumber() throws Exception {
        // setup
        final DemoParser.LiteralNumberContext literalNumberNode = mock(DemoParser.LiteralNumberContext.class);
        when(literalNumberNode.getText()).thenReturn("42");

        // execution
        final String actual = myVisitor.visitLiteralNumber(literalNumberNode);

        // evaluation
        assertEquals(actual, "42");
    }
}

此方法类似于您的解决方案 2:

Take the time to learn the ins and outs of ANTLR and how to programatically create nodes in my junit-tests.

但是没有学习 ANTLR 的来龙去脉。相反，IO 只是使用模拟框架 (Mockito) 生成我认为合适的树节点，并模拟树节点的 accept 方法，这样我就可以模拟访问的 child ，而无需模拟访问者本身的任何内容。