java - 如何处理许多慢速连接

Question

我们的 Web 应用程序的吞吐量似乎受到慢速连接的限制。在负载测试中，我们很容易达到大约 5000 个请求/秒。但在实践中，我们的最大值约为 1000 个请求/秒。服务器并没有真正承受严重的负载，无论是 IO 还是 CPU 方面。这同样适用于数据库。主要区别似乎是大多数工作线程会因无法足够快地接受响应(通常响应大小为几 MB)的客户端而变慢。

我们几乎没有任何静态资源。问题在于动态生成的内容。它是用 Spring 框架实现的。但我认为这对于任何其他基于 servlet 的实现都没有什么不同。

那么我们有哪些提高吞吐量的选择？是否有某种可用的缓存可以快速吸收响应、释放工作线程，然后以他们的速度将其异步交付给客户端？

我们宁愿不增加处理线程的数量，因为它们在大多数处理中保持数据库连接打开。我们真的在寻找一种解决方案，其中少量工作线程可以全速工作。

Answer 1

我建议您使用 gzip 等标准技术进行响应。

第二种是在Spring MVC中使用异步处理。参见 Making a Controller Method Asynchronous了解更多相关信息。