java - Tomcat 停止响应 JK 请求

Question

我遇到了挂起的负载平衡 Tomcat 服务器的严重问题。任何帮助将不胜感激。

系统

我在 HotSpot Server 14.3-b01 (Java 1.6.0_17-b04) 上运行 Tomcat 6.0.26，这三台服务器位于另一台充当负载均衡器的服务器后面。负载均衡器运行 Apache (2.2.8-1) + MOD_JK (1.2.25)。所有服务器都运行 Ubuntu 8.04。

Tomcat 配置了 2 个连接器:AJP 连接器和 HTTP 连接器。 AJP 将与负载平衡器一起使用，而开发团队使用 HTTP 直接连接到选定的服务器(如果我们有理由这样做)。

我在 Tomcat 服务器上安装了 Lambda Probe 1.7b，以帮助我诊断和修复即将描述的问题。

问题

这就是问题所在:应用程序服务器启动大约 1 天后，JK 状态管理器开始报告 Tomcat2 等的状态 ERR。它只会卡在这个状态，到目前为止我发现的唯一修复方法是通过 ssh 框并重新启动 Tomcat。

我还必须提到，当 Tomcat 服务器处于这种状态时，JK 状态管理器需要更长的时间来刷新。

最后，JK Status Manager 上卡住的 Tomcat 的“忙”计数一直很高，并且本身不会下降——我必须重新启动 Tomcat 服务器，等待，然后在 JK 上重置 worker。

分析

由于我在每个 Tomcat 上有 2 个连接器(AJP 和 HTTP)，我仍然可以通过 HTTP 连接到应用程序。该应用程序像这样工作得很好，非常非常快。这是完全正常的，因为我是唯一一个使用此服务器的人(因为 JK 停止将请求委托(delegate)给此 Tomcat)。

为了更好地理解问题，我从一个不再响应的 Tomcat 和另一个最近重新启动的 Tomcat(例如，1 小时前)获取了线程转储。

正常响应 JK 的实例显示大多数 TP-ProcessorXXX 线程处于“可运行”状态，堆栈跟踪如下:

java.net.SocketInputStream.socketRead0 ( native code )
java.net.SocketInputStream.read ( SocketInputStream.java:129 )
java.io.BufferedInputStream.fill ( BufferedInputStream.java:218 )
java.io.BufferedInputStream.read1 ( BufferedInputStream.java:258 )
java.io.BufferedInputStream.read ( BufferedInputStream.java:317 )
org.apache.jk.common.ChannelSocket.read ( ChannelSocket.java:621 )
org.apache.jk.common.ChannelSocket.receive ( ChannelSocket.java:559 )
org.apache.jk.common.ChannelSocket.processConnection ( ChannelSocket.java:686 )
org.apache.jk.common.ChannelSocket$SocketConnection.runIt ( ChannelSocket.java:891 )
org.apache.tomcat.util.threads.ThreadPool$ControlRunnable.run ( ThreadPool.java:690 )
java.lang.Thread.run ( Thread.java:619 )

卡住的实例显示大部分(全部？)TP-ProcessorXXX 线程处于“等待”状态。它们具有以下堆栈跟踪:

java.lang.Object.wait ( native code )
java.lang.Object.wait ( Object.java:485 )
org.apache.tomcat.util.threads.ThreadPool$ControlRunnable.run ( ThreadPool.java:662 )
java.lang.Thread.run ( Thread.java:619 ) 

我不知道 Tomcat 的内部结构，但我可以推断“等待”线程只是线程池中的线程。那么，如果它们是在线程池内等待的线程，为什么 Tomcat 不让它们处理来自 JK 的请求？

编辑:我不知道这是否正常，但 Lambda Probe 向我显示，在 Status 部分，有很多线程处于 KeepAlive 状态。这与我遇到的问题有某种关系吗？

解决方案？

所以，正如我之前所说，我找到的唯一修复是停止 Tomcat 实例，停止 JK worker，等待后者的忙碌计数慢慢下降，再次启动 Tomcat , 并再次启用 JK worker。

是什么导致了这个问题？我应该如何进一步调查它？我能做些什么来解决它？

提前致谢。

Answer 1

您是否配置了 JVM 内存设置和垃圾回收？您可以在设置 CATALINA_OPTS 的地方执行此操作

例子:

CATALINA_OPTS="$CATALINA_OPTS -server -Xnoclassgc -Djava.awt.headless=true"
CATALINA_OPTS="$CATALINA_OPTS -Xms1024M -Xmx5120M -XX:MaxPermSize=256m"
CATALINA_OPTS="$CATALINA_OPTS -XX:-UseParallelGC"
CATALINA_OPTS="$CATALINA_OPTS -Xnoclassgc"

有多种哲学认为 GC 设置是最好的。这取决于您正在执行的代码类型。上面的配置最适合 JSP 密集型环境(标签库而不是 MVC 框架)。