java - 慢速客户端期间的 Google 负载均衡器行为

Question

场景设置
1. 假设我有一个在谷歌计算上运行的 tomcat。我有一个简单的 hello world servlet，如下所示

1. public void doGet(HttpServletRequest req, HttpServletResponse res)
2.  throws ServletException, IOException {
3.  sysout("request IN")
4.  PrintWriter out = res.getWriter().println(VERY_LONG_JSON_200KB);
5.  sysout("request OUT")
6. }

案例:

现在如果我使用机器 ip 直接访问这个 servlet，使用一个非常慢的客户端(2 KB 下载速度)
我在 tomcat 中的工作线程将在 println(VERY_LONG_JSON_200KB); 行停留约 100 秒。由于 VERY_LONG_JSON_200KB 不适合套接字缓冲区和线程等待。

在这种情况下，由于客户端连接速度慢，我的 tomcat 线程被卡住了。

现在

而不是直接连接tomcat机器ip。我在 tomcat 前面添加了一个 Google 负载平衡器。
现在通过慢速客户端使用，我通过负载平衡器连接到 tomcat。
现在 println 行在 1 毫秒 内执行。

这意味着负载均衡器会快速消耗来自 tomcat 的响应，然后将其提供给客户端。这很好，因为我的 tomcat 线程没有卡住。

问题现在的问题是，负载均衡器将快速消耗多少请求并根据客户端速度提供服务。

例如:假设有 1000 个并发的慢速客户端进入，Google 负载均衡器是否会为所有 1000 个请求快速消耗来自 tomcat 的响应。

Answer 1

您可以在此处阅读 [1]:“(...)它支持每秒 100 万次以上的查询，具有一致的高性能和低延迟。”。

是的，Google Cloud Load Balancer 将能够快速请求来自 tomcat 后端的响应，每秒请求数高达 100 万个。

[1] https://cloud.google.com/load-balancing/