c# - 使用 HttpClient C# 对许多不同网站的快速 Web 请求

Question

我的团队维护着一个工具，负责对 1000 多个不同的客户网站进行快速验证。该工具是一个 Windows 服务(.NET 4.5.2，C#)，它从队列中读取请求，并对每个请求执行“健康检查”。它通常每分钟处理 500 多个请求，但可以负责更多。每个请求都需要一两秒钟的时间来执行。

请求包含 Uri以及进行健康检查所需的凭据。健康检查是 POST针对具有凭据的 AUTH 页面(该应用程序具有自定义身份验证，它不是基于 header 的身份验证)，然后是 GET到主页，快速验证它是我们期望的主页。然后它转到应用程序中的状态页面，并对其进行一些快速检查。 GET 请求必须使用身份验证帖子中 Set-Cookie header 中的 cookie。

随着工具的扩展，我们一直遇到性能问题。它目前创建一个新的 HttpWebRequest反对每个帖子并参与其中。有一个由第一个帖子填充的共享 CookieContainer，这样我们就可以到达主页，然后是状态页面。

我想更改此服务以使用 HttpClient .NET 4.5 中可用的对象。 问题无处不在，我在网上看到说你想避免快速创建和销毁 HttpClients .您宁愿让一个实例在应用程序的整个生命周期内保持事件状态。我遇到的问题是 HttpClient似乎对一个端点非常有效，但不是很多。

我研究了几个选项，但不确定哪个是最好的:

1. 创建一个新的 HttpClient对于每个请求，并在该请求期间使用它。这意味着它将存在几秒钟，并用于 3 次调用。这不容易实现，但我担心创建和销毁数百个 HttpClients 的开销。一分钟。
2. 弄清楚是否可以使用一个 HttpClient通过避免使用 BaseAddres 为不同的端点实例s，并使用客户端传递HttpRequestMessages使用 SendAsync . 我还没能用这个方法弄清楚cookies。为了避免 HttpClient存储cookie，我设置 UseCookies在 HttpClientHandler 中为假，并尝试通过 HttpRequest 中的 header 管理 cookie/ ResponseMessages他们自己，但它看起来像 HttpClient当 UseCookies 时简单地剥离 cookie设置为 false ，所以我无法在请求之间传递 cookie。 编辑:cookie 工作正常，因为它们是按域存储的。
3. 存储数百种不同的 HttpClient某种字典中的实例，并为每个 Uri 提取适当的实例随着请求的到来。我不确定这方面的内存开销。每个也是独一无二的 Uri每 5 分钟才验证一次，所以我不确定是否有 HttpClient每 5 分钟使用一次，保持不必要数量的端口打开。
4. 继续使用HttpWebRequests .也许这种旧方法在这种情况下仍然表现更好。

如果有人遇到过类似的问题，我很乐意就如何继续解决这个问题提供一些意见。

谢谢!

Answer 1

为每个请求创建新的 HttpClient 的问题是 HttpClientHandler 将关闭底层的 TCP/IP 连接。但是，如果您将每个 HttpClient 用于对一个主机的 3 个请求，然后访问另一个主机，那么当您移动到新主机时，保持连接打开无济于事。因此，您可能不会看到每台主机一个客户端的性能问题。 HttpClient 本身是一个非常轻量级的对象。创建一个不会花费太多。

但是，HttpClient 只是将实际工作委托(delegate)给 HttpClientHandler，它在幕后使用 HttpWebRequest，因此不太可能比直接使用 HttpWebRequest 有更好的性能。

如果您正在寻找更好的性能，那么我建议考虑用新的 WinHttpHandler 替换 HttpClientHandler。它绕过 HttpWebRequest 并直接转到 Win32 API 进行调用。

完整的源代码可用于 WinHttpHandler on GitHub这样您就可以准确地看到它是如何处理 cookie 和凭据的。

我真的很想知道您是否通过 WinHttpHandler 获得了更好的性能。