visual-studio - Visual Studio 云负载测试平均测试时间似乎很长

Question

我有一个 WebAPI 服务，我将其组合在一起以测试托管在 Azure 中的吞吐量。我已将其设置为使用可配置的数字调用 Task.Delay (IE webservice/api/endpoint?delay=500)。当我通过 Fiddler 运行端点时，一切都按预期工作，延迟等。

我使用 VS Enterprise 创建了一个负载测试，并使用我的一些免费云负载测试时间在 2 分钟内对 500 个并发用户进行了测试。多次运行负载测试后，它表示平均测试时间约为 1.64 秒。我已经关闭了测试的思考时间。

当我在 Fiddler 中同时运行我的请求和负​​载测试时，我看到亚秒级的响应，即使是在发送垃圾邮件执行按钮时也是如此。我的负载测试有效地做了同样的事情并获得了 1.64 秒的响应时间。

我错过了什么？

在我的单元测试中运行的代码(然后调用我的负载测试):

var client = new HttpClient { BaseAddress = new Uri(CloudServiceUrl) };

var response = client.GetAsync($"{AuthAsyncTestUri}&bankSimTime={bankDelay}&databaseSimTime={databaseDelay}");

AuthAsyncTestUri 是我的云托管服务的端点。

Answer 1

进程有几个delay()、sleep()、pause() 等方法。这些方法会导致线程(或其中一些可能是程序或进程)暂停执行。不建议从负载测试中使用的代码调用它们，请参阅 Visual Studio Performance Testing Quick Reference Guide 的第 187 页底部(3.6 版)。

Visual Studio 负载测试没有为每个虚拟用户设置一个线程。每个操作系统线程运行许多虚拟用户。在四核计算机上，我看到了为虚拟用户使用四个线程的负载测试。

假设负载测试在四核计算机上运行，​​Visual Studio 启动四个线程来执行测试用例。假设一个虚拟用户调用 sleep() 或类似的。这将暂停该线程，留下三个线程可用于执行其他虚拟用户事件。假设四个虚拟用户几乎同时调用 sleep() 或类似的方法。这将停止所有四个线程，并且没有虚拟用户能够执行。

---

回应添加到问题中的以下评论

I did try running it with a 5 user load, and saw average test times of less than 500 ms, which match what I see in my Fiddler requests. I'm still trying to figure out why the time goes up dramatically for the 500 user test while staying the same for Fiddler requests run in the middle of the 500 user test.

我认为这条评论突出了问题。在低用户负载下，Visual Studio 负载测试和 Fiddler 测试给出的时间相似。在更高的负载下，负载测试和服务器之间的某些东西限制了吞吐量并导致速度下降。值得检查运行测试的计算机和被测试系统之间的网络路由。该路径上是否有慢速段？是否有任何部分可能将负载测试视为拒绝服务攻击并因此可能减慢流量？

仅运行 2 分钟的测试并不能真正显示测试的运行情况。问题中的详细信息确实说明了两分钟运行结束时开始了多少测试，完成了多少测试以及放弃了多少测试。可能有很多测试用例被放弃，完成的测试用例的平均时间为 1.6 秒。

如果您有问题运行的结果，请查看结果的“详细信息”部分。展开图像下方的 slider 以包括整个运行。勾选选项(左上角)以突出显示失败的测试。我希望在测试失败的两分钟标记处看到很多红色。但是，与采样间隔(在运行设置中)相比，两分钟的运行时间可能太短，无法看到太多信息。

在 500 个用户上运行第一次测试告诉你的信息很少。它告诉您系统可以处理该负载或不能处理。您需要在多个不同的用户负载下运行测试。然后你开始了解工作和不工作之间的界限在哪里。因此，我建议使用阶梯式负载。

我相信您至少需要再进行一次测试才能了解发生了什么。我建议按如下方式运行。设置一分钟的冷却时间。设置阶梯式负载:从 5 个用户开始，因为您知道这是可行的。每两秒增加 1 个用户，直到 100 个用户。这将需要 190 秒。在 100 个用户负载下再运行大约一分钟。共4分10秒。叫它4分钟。加上一分钟的冷却时间可以得到 (5 分钟) x (100 VU) = 500 VUM，这是每月免费分钟数的一小部分。运行后查看平均测试时间的图表。如果该测试一切正常，那么您可以尝试另一个可以更快地增加到 500 个用户的测试。