c# - 来自多个测试类的单元测试似乎是交错的

Question

我在一个 MSTest 项目中的两个单独的类中进行了测试，每个类(我认为)都设置正确并且每个类都运行良好但是当我运行整个项目的测试时，有些会失败。

我的两个类(class)都涉及设置一些外部数据，但每个类(class)都旨在确保在开始之前它处于已知状态(并在完成后删除它)。虽然 MSTest 可能会并行运行测试类中的所有方法(？)，但我会按顺序运行每个类...这是一个不正确的假设吗？

编辑:我遇到了这个问题 ( how does MSTest determine the order in which to run test methods? ) 它似乎建议 VS 可能以(看似但实际上不是)随机顺序交错来自多个类的测试，即它不运行所有测试在 B 类开始之前在 A 类中。这在我的案例中是有问题的，因为即使我在一个类中订购我的测试，MSTest 仍可能运行来自多个冲突类的方法？

Answer 1

重要提示

MsTest 不保证执行顺序，并且每次运行的顺序可能不同。 If you need to rely on order you'll need to created an Ordered Test ，一个 VS Premium/Enterprise 功能，除非你使用的是 Visual Studio 2015 update 2，这将它们带到了 Pro。

测试执行可以交错、反弹和做各种疯狂的事情。尽管在某些版本的 MsTest 上，它倾向于按测试的完整命名空间的字母顺序运行，例如:my.namespace.class.method。

当使用数据驱动测试时，它甚至更奇怪，因为来自数据源的数据顺序充当了一个额外的随机化器。

不要依赖顺序 使用 TestInitialize 并在每次测试执行之前运行代码可能比依赖 [Class|Assembly]Initialize 以不同测试之间不兼容的方式设置数据。

Visual Studio 2015 及更早版本。

MsTest can execute tests in parallel using the legacy test runner and when specifying parallelism in the testSettings file .在旧版运行器中，测试将在最多 5 个线程上执行。遗留测试运行器不会以任何方式限制测试。如果可以，它将并行运行所有测试，并且没有特定的顺序或保护。您可以在下面的屏幕截图中看到:

除非您的 testSettings 明确提及并行性，否则测试将按顺序运行，但没有特定顺序。我怀疑它会使用已编译程序集的 IL 顺序或字母顺序。源文件中的顺序肯定不是用的。

在 Visual Studio 2015 update 1 及更高版本中

Visual Studio 2015 更新 1 引入了在新的测试运行器中并行运行测试的选项。新的测试运行器使用不同的方法并将每个容器的测试并行化。对于 C#，这意味着一个程序集中的测试按顺序执行，而单独程序集中的测试可以并行执行。

假设集成测试和 UI 测试保存在它们自己单独的解决方案中，并且当您启用此并行选项时，您有一个仅包含单元测试的解决方案。