maven - 如何根据 testng 测试的通过率阈值使 Jenkins 工作失败

Question

我们正在尝试使用 Jenkins 作为我们的 CI/CD 解决方案，并希望能够在我们的 TestNG 测试未达到设定的通过率阈值时使部署失败。

目前我们的 Jenkins 作业通过 maven 执行我们的 TestNG 测试，因此任何测试失败都将构建标记为失败。 IE。任何低于 100% 的通过率，都会导致构建作业失败。

我们希望能够使其可配置 - 即如果通过率低于 98%，则测试作业失败。

这是我可以通过一些插件在 Jenkins 工作中控制或配置的东西，还是我必须在 TestNG 监听器内部编码的东西，即 onFinish()并根据计算出的通过率设置返回值？

Answer 1

我假设您的测试用例中存在一些脆弱性，即使有 2% 的失败也会导致您通过构建？否则，我会说任何低于 100% 的都是构建失败。

话虽如此，如何使用 Sonar ?

有了它，您可以在单元测试成功率 < 98% 时使构建失败(参见一些示例截图 here)。

您也可以在其他情况下使构建失败。例如，当覆盖率低于一定数量或发现严重问题时。此外，您将获得包含所有构建相关指标的仪表板的额外奖励。

您需要下载一个名为 Build Breaker 的插件。当质量门低于某个阈值时，这将使构建失败。

需要注意的一件事是，Sonarqube 人员建议您 don't use this plugin .因此，您还可以执行诸如 query the Sonar rest api 之类的操作。并失败构建或等到他们add core support for it .