java - jvm hang and kill -3 & jmap 失败

Question

我有一个 tomcat 进程是:

1. 所有线程都没有运行，所有传入连接都停留在 SYNC_RECV 状态
2. 对 kill -3 没有反应

3. jmap 和 jstack 未能附加到它

   sudo -u tomcat /usr/java/jdk1.6.0_45/bin/jmap -heap 19938
   Attaching to process ID 19938, please wait...
   Error attaching to process: sun.jvm.hotspot.debugger.DebuggerException: Can't attach to the process
   
   sudo -u tomcat /usr/java/jdk1.6.0_45/bin/jmap -heap -F 19938
   
   Attaching to process ID 19938, please wait...
   Error attaching to process: sun.jvm.hotspot.debugger.DebuggerException: Can't attach to the process
   

4. gc stat 的输出没有变化，即使是时间戳

   sudo -u tomcat /usr/java/jdk1.6.0_45/bin/jstat -gc -t 19938 1000 5
   
   Timestamp        S0C    S1C    S0U    S1U      EC       EU        OC         OU       PC     PU    YGC     YGCT    FGC    FGCT     GCT
          370651.7 33408.0 33536.0  0.0   32416.0 3078592.0 2424720.7 6291456.0   74894.4   262144.0 71831.7     77    8.268   1      0.033    8.301
          370651.7 33408.0 33536.0  0.0   32416.0 3078592.0 2424720.7 6291456.0   74894.4   262144.0 71831.7     77    8.268   1      0.033    8.301
          370651.7 33408.0 33536.0  0.0   32416.0 3078592.0 2424720.7 6291456.0   74894.4   262144.0 71831.7     77    8.268   1      0.033    8.301
          370651.7 33408.0 33536.0  0.0   32416.0 3078592.0 2424720.7 6291456.0   74894.4   262144.0 71831.7     77    8.268   1      0.033    8.301
          370651.7 33408.0 33536.0  0.0   32416.0 3078592.0 2424720.7 6291456.0   74894.4   262144.0 71831.7     77    8.268   1      0.033    8.301
   

环境信息；

1. Linux

   Linux xxxx 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
   

2. jdk

   java version "1.6.0_45"
   Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
   Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
   

3. JAVA_OPTS

   -server -Xms9g -Xmx9g -Xss256k -XX:PermSize=256m -XX:MaxPermSize=256m -XX:+UseParallelGC -XX:ParallelGCThreads=24 -XX:+UseParallelOldGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/tomcatdump  
   -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/tmp/tomcatlog.log -XX:NewSize=3g -XX:MaxNewSize=3g -Dorg.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASH=true
   

更新

连接的SYN_RECV状态是LVS的问题，我认为是LVS检测到tomcat异常，将服务切换到其他服务器，导致最后的ACK投递到另一台服务器，然后该服务器上的连接将卡在 SYN_RECV 状态，但我看不出这与 jvm 挂起有什么关系，非常感谢@Stephen C

更新2

这个进程已经卡在这个状态一个多星期了，CPU占用率很低

Answer 1

对于 1) ... 这可能是网络问题；例如https://serverfault.com/questions/273807/all-connections-from-this-network-get-stuck-in-syn-recv-state-connections-from .

对于 2) 不确定。但是请注意，Linux 上 Tomcat 的标准启动脚本会将标准输出和标准错误重定向到日志文件。在 "catalina.out" log fil 中查找线程转储即.

对于 3) ... 根据 https://stackoverflow.com/a/2943651/139985您需要以启动 JVM 的同一用户身份运行 jmap/jstack。它可能不是 root。

对于 4) ... 这可以用 GC 不需要运行这一事实来解释。

---

更新

SELinux 也有可能成为障碍。

恐怕在您看来网络配置正确，但在那个级别肯定有问题。 SYN_RECV 状态是 TCP“3 次握手”中的一种状态，发生在网络堆栈中建立连接时。 Java 不参与该过程。基本上，您有许多尝试启动套接字连接的 Java 线程，但连接都被卡住了。