testing - 即使第二次迭代失败，具有多次迭代的 TFS 自动化测试也显示为已通过

Question

我正在使用带有测试代理 2015 的 TFS 2017 环境。在此之前，我们有一个带有测试代理 2013 和 MTM 的 TFS 2013 环境(运行良好)。

目前我们有以下问题:

我们运行了一个包含大约 40 个测试的集合，所有测试都有多个迭代。如果第一次迭代失败，我们会在 tfs 中看到这一点，测试状态将设置为失败，这是完美的。但是，如果第一次迭代成功而第二次失败，则测试用例将设置为在 TFS 中通过。但是，如果第二次迭代失败，我们希望将整个测试设置为失败。现在的情况看起来我们几乎所有的测试都通过了，但有时很多后来的迭代都会失败，这意味着我们得到了错误的报告。

当我打开属于一台机器的 .TRX 文件时，我可以看到哪些迭代失败了，哪些迭代成功了。

所以问题简而言之:

如果测试的第一次迭代通过而第二次失败，则整个测试将设置为“通过”而不是“失败”，这会给我们错误的报告。

我完全不知道我们做错了什么。但现在它给出的是关于我们运行的错误信息。

这里有没有人遇到过同样的问题？

任何帮助将不胜感激，因为我无法在谷歌上找到有关此主题的任何信息。

Answer 1

我已将其发布在 Microsoft 论坛上。他们回答说他们可以重现它，这意味着它可能是 tfs/testagent 中的一个问题。可以在此处找到更多信息:

https://social.msdn.microsoft.com/Forums/vstudio/en-US/4a384376-feae-46a9-a3da-e4445bc905d8/tfs-automated-tests-with-multiple-iterations-show-as-passed-even-when-the-second-iteration-fails?forum=tfsgeneral