java - 从 JUnit 命令行获取测试列表

Question

简而言之，我的问题是我想从命令行运行一些 JUnit 测试并且我希望能够看到:

• 所有测试的列表(无论是否运行)。
• 所有通过的测试的列表。
• 所有失败测试的列表

第一个项目符号的原因是因为我相信如果一个测试调用 System.exit，其他测试将不会运行，我仍然想了解这些测试，即使它们没有运行。

假设我有这个测试类:

    import junit.framework.TestCase;
    public class ALoadOfTests extends TestCase {

    public void testFoo() {
        int a = 5;
        int b = 10;
        int result = a + b;
        assertEquals(15, result);
    }

    public void testBar() {
        fail();
    }

    public void testBaz() {
        fail();
    }       
}

如果我使用以下命令运行它:

javac -cp ".;C:\Users\username\Desktop\Test\junit-4.11.jar;C:\Users\username\Desktop\Test\hamcrest-core-1.3.jar" ALoadOfTests.java
java -cp ".;C:\Users\username\Desktop\Test\junit-4.11.jar;C:\Users\username\Desktop\Test\hamcrest-core-1.3.jar" junit.textui.TestRunner ALoadOfTsts

输出是:

.F.F.
Time: 0.002
There were 2 failures:
1) testBar(ALoadOfTests)junit.framework.AssertionFailedError
        at ALoadOfTests.testBar(ALoadOfTests.java:12)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
2) testBaz(ALoadOfTests)junit.framework.AssertionFailedError
        at ALoadOfTests.testBaz(ALoadOfTests.java:16)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)

FAILURES!!!
Tests run: 3,  Failures: 2,  Errors: 0

这里的问题是输出没有告诉我存在并通过的 testFoo 的名称。此外，如果我将其中一个更改为使用 System.exit，那么我们根本不会得到太多输出，我们只会得到:

.F.F.

理想情况下，为了能够获得我需要的所有信息，如果我可以先打印出测试名称列表，然后再运行任何测试(以及 System.exit 的任何机会)，那么我可以看到哪些通过了，哪些通过了失败(或没有运行)。

如果我能得到类似于以下内容的输出:

Tests:
testFoo
TestBar
TestBaz
Results:
TestFoo(passed)
TestBar(failed:reason)

那么我可以放心地假设:

TestFoo passed
TestBar failed
TestBaz never ran, probably because some test called system.exit.

是否可以使用自定义运行器？如果是，将不胜感激关于从哪里开始的任何提示。

不幸的是，我无法控制代码，应该假定它可能包含 System.exit，可能在每个方法中。我对测试也几乎没有控制权，因此在设置方法中打印出测试名称并不理想。

谢谢，

Answer 1

更改 JUnit 输出

如本 blog 中所述您可以编写自己的测试监听器并在测试通过或失败时打印出您自己的消息。

public class ExecutionListener extends RunListener
{
... //feel free to override other methods too

/**
 *  Called when an atomic test has finished, whether the test succeeds or fails.
 * */
public void testFinished(Description description) throws java.lang.Exception
{
    System.out.println("Finished execution of test case : "+ description.getMethodName());
}

/**
 *  Called when an atomic test fails.
 * */
public void testFailure(Failure failure) throws java.lang.Exception
{
    System.out.println("Execution of test case failed : "+ failure.getMessage());
}

/**
 *  Called when a test will not be run, generally because a test method is annotated with Ignore.
 * */
public void testIgnored(Description description) throws java.lang.Exception
{
    System.out.println("Execution of test case ignored : "+ description.getMethodName());
}

然后用一个 main 编写你自己的类来运行 Junit(而不是运行 junit.jar)

public class ExecuteWithRunListener
{
    public static void main(String[] args)
    {
        JUnitCore runner = new JUnitCore();
        //Adding listener here
        runner.addListener(new ExecutionListener());
        runner.run(TestFeatureOne.class, TestFeatureTwo.class);
    }
} 

如何防止来自 System.exit 的调用实际退出

您的测试可以使用它们自己的 SecurityManager 来防止对 System.exit 的调用执行任何操作。下面的代码将对 System.exit() 的任何调用抛出一个特殊的异常，我们可以在测试中捕获该异常以确保我们调用了 exit 并捕获了退出代码是什么:

public static final SecurityManager NON_EXITABLE_MANAGER = new SecurityManager(){

    @Override
    public void checkPermission(Permission perm) {
        //allow everything
    }
    /**
     * Throws a {@link TriedToExitException} instead of exiting.
     * <p/>
     * {@inheritDoc}
     */
    @Override
    public void checkExit(int status) {
        throw new TriedToExitException(status);
    }

};

public static final class TriedToExitException extends SecurityException{
    private static final long serialVersionUID = 1L;
    private final int exitCode;

    public TriedToExitException(int exitCode){
        this.exitCode=exitCode;
    }

    @Override
    public String getMessage() {
        return String.format("tried to System.exit(%d)",exitCode);
    }

    public int getExitCode() {
        return exitCode;
    }

}

然后在您的单元测试中，您将 SecurityManager 替换为我们停止调用退出的版本(并保存旧的 SecurityManager，以便我们可以在测试后恢复它)

private SecurityManager previousManager=null;


@Before
protected void replaceManager() throws Throwable {
    previousManager = System.getSecurityManager();
    System.setSecurityManager(NON_EXITABLE_MANAGER);
}

@After
protected void restoreManager() {
    System.setSecurityManager(previousManager);
}

 @Test
    public void testCallToExit() throws IOException{

         try{
           //something that calls System.exit
            fail("should call exit");
         }catch(TriedToExitException e){
             //make sure we get correct exit code
             assertEquals(-1, e.getExitCode());

         }
    }