Javascript 测试 : Inconsistent number of tests

Question

如果这有点含糊(确实如此)，我深表歉意，但我从一个已离职的承包商那里继承了一些困惑，需要一些指导...

我已经(继承)了许多 JavaScript 单元测试(大约 770+)。这些正在使用 Chutzpah 运行(在 Visual Studio 2015 中，以及在我们的 Team City 构建期间从命令行运行)。

问题是，每次我运行测试 - 无论是在 VS 中还是从命令行 - 运行的测试总数不同，失败的次数也是如此

问题在于不一致。我无法开始调查实际问题，因为我什至不知道我是否可以信任已运行的测试。

抱歉，我很感激我没有在这里提供任何真正的细节，但是任何人都可以建议我在这种情况下应该研究的任何高级事情吗？

干杯

Answer 1

正如评论者所提到的，您需要弄清楚什么是古怪的测试。我会设置一个批处理文件来运行这组测试数百次，然后分析结果。一旦你有了怀疑，你就可以使用/trace 命令行参数运行测试，该参数创建一个名为 chutzpah.log 的日志文件，显示测试所做的一切。有时这可以揭示与正常执行的差异。

此外，flakey 测试的一个常见原因是可变的共享状态和异步方法。一旦您进行了候选测试，我就会寻找这些模式。