testing - 如何在监听器中使 TestNG 测试失败

Question

有没有一种方法可以在 ITestListener 实现中使已经成功“通过”的测试实际上失败？

我的用例是这样的:我在我的套件中运行所有测试，然后在套件结束时执行一些额外的操作。作为这些操作的结果，我希望之前“通过”的测试现在被标记为失败。

在我的监听器(扩展 TestListenerAdapter)中，我正在调用:

result.setStatus(ITestResult.FAILURE);
result.setThrowable(t);

在一些 ITestResult 对象上。在监听器的其他地方，我重写了 onFinish，如下所示:

@Override
public void onTestFailure(final ITestResult result) {
    super.onTestFailure(result);

    // TODO: This is updating the state of the test, but NOT causing it to fail
    Reporter.setCurrentTestResult(result);
}

当我测试失败时，正在执行回调。 Throwable 被添加到测试结果中。一切都如我所料发生。

但是，生成的报告和构建输出都不正确:

[testng] ===============================================
[testng] <redacted>Tests
[testng] Total tests run: 51, Failures: 0, Skips: 0
[testng] ===============================================

尽管其中 3 个测试结果被更新为失败:

有什么想法吗？

Answer 1

我成功地将状态从 FAILURE 更改为 SKIP approach使用 IInvokedMethodListener。

可以更改状态的afterInvocation方法不会在整个测试套件完成后调用，而是在每个测试方法完成后调用。