ios - Cucumber - 在 Jenkins 中重新运行失败的测试

Question

我们正在通过 jenkins 服务器运行一组 Frank/cucumber 测试来测试 iOS 应用程序。

测试在本地运行得很好，在 jenkins 服务器上手动运行时也是如此。然而，在通过 jenkins 时，我们偶尔会遇到导致构建失败的错误，然后当我们再次运行 jenkins(即按下“立即构建”按钮)时，它可以正常工作，无需更改任何内容。

我们运行以下代码来运行测试:

cucumber features/ipad --tags ~@ignore

然后我添加了重新运行参数以将失败的测试转储到文本文件中:

-f rerun -o rerun.txt

然后直接运行 cucumber rerun.txt，所以整个命令看起来像这样:

cucumber features/ipad --tags ~@ignore -f rerun -o rerun.txt; cucumber @rerun.txt

这工作正常，它捕获失败的测试，并在其他测试后重新运行它们。

但是，即使重新运行通过，jenkins 仍然将构建标记为失败。

有没有办法告诉 Cucumber 或 jenkins 忽略第一次测试运行，只将重新运行的测试标记为通过或失败？

或者有更好的解决方法吗？

谢谢

Answer 1

jenkins 脚本非常简单。当脚本失败时构建失败，即具有非零退出代码。

此外，如果您使用 junit 插件发布结果，请确保该插件在发现结果中的测试失败时不会使您的构建失败。

但是，尝试找出测试失败的原因。始终获取测试运行的应用程序日志，并检查那里发生了什么。如果自动化测试不可靠，请使用手动测试。

此外，您还可以使用 Cucumber Hooks 在测试失败时截取屏幕截图。当您试图了解失败的测试时，这会很有帮助。