java - JVM 崩溃日志中的 BufferBlob::Interpreter 是什么意思？

Question

我正在调查在我的应用程序中偶尔发生的 JVM 崩溃。 hs_err 文件包含有关崩溃的以下详细信息。

#  SIGSEGV (0xb) at pc=0x065e68f4, pid=20208, tid=570166160
#
# Java VM: Java HotSpot(TM) Server VM (10.0-b23 mixed mode linux-x86)

...

# Problematic frame:
# V  [libjvm.so+0x5e68f4]

...

Current thread (0x099ea800):  JavaThread "Thread-315" daemon [_thread_in_vm, id=25782, stack(0x21fa3000,0x21fc1000)]

...

vm_info: Java HotSpot(TM) Server VM (10.0-b23) for linux-x86 JRE (1.6.0_07-b06), built on Jun 10 2008 01:20:15 by "java_re" with gcc 3.2.1-7a (J2SE release)

所以这告诉我 JVM 在运行某些 Java 代码时遇到了段错误。错误日志还包含有关崩溃线程堆栈的信息。

Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
V  [libjvm.so+0x5e68f4]
V  [libjvm.so+0x1c054f]
V  [libjvm.so+0x1bfef2]
V  [libjvm.so+0x1bf57f]
V  [libjvm.so+0x592495]
V  [libjvm.so+0x365c4e]
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter

Java frames: (J=compiled Java code, j=interpreted, Vv=VM code)
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
v  ~BufferBlob::Interpreter
J  org.myapp.AppClass.getBytes()Lorg/myapp/ByteHolder;

我已经使用 GDB 从崩溃中连接到核心文件并获取有关堆栈的更多详细信息。这给了我以下输出。

#5  <signal handler called>
#6  0x065e68f4 in interpretedVFrame::monitors() const ()
   from /usr/java/jdk1.6.0_07/jre/lib/i386/server/libjvm.so
#7  0x061c054f in get_or_compute_monitor_info(JavaThread*) ()
   from /usr/java/jdk1.6.0_07/jre/lib/i386/server/libjvm.so
#8  0x061bfef2 in revoke_bias(oopDesc*, bool, bool, JavaThread*) ()
   from /usr/java/jdk1.6.0_07/jre/lib/i386/server/libjvm.so
#9  0x061bf57f in BiasedLocking::revoke_and_rebias(Handle, bool, Thread*) ()
   from /usr/java/jdk1.6.0_07/jre/lib/i386/server/libjvm.so
#10 0x06592495 in ObjectSynchronizer::fast_enter(Handle, BasicLock*, bool, Thread*) ()
   from /usr/java/jdk1.6.0_07/jre/lib/i386/server/libjvm.so
#11 0x06365c4e in InterpreterRuntime::monitorenter(JavaThread*, BasicObjectLock*) ()
   from /usr/java/jdk1.6.0_07/jre/lib/i386/server/libjvm.so

这表明原始错误报告中列出的六个 libjvm.so 框架与获取 Java 锁有关。但是，我在 org.myapp.AppClass.getBytes() 中找不到任何使用任何锁的代码。

堆栈中的 BufferBlob::Interpreter 行是什么意思？这些是 Java 堆栈帧吗？ JVM 栈帧？是否可以弄清楚这些堆栈帧中调用了什么？

注意:请不要建议我尝试切换到较新的 Hotspot JVM。我依赖于 CMS 收集器，但最近的 V1.6 Hotspot JVM 都不够稳定，无法使用 CMS 收集器。

编辑:该文档 (http://www.oracle.com/technetwork/java/javase/tsg-vm-149989.pdf) 声明“v”框架是“VM 生成的 stub 框架”。知道这意味着什么吗？

EDIT2:org.myapp.AppClass.getBytes() 从 DataInputStream 读取。这可能涉及以下堆栈跟踪:

AppClass.getBytes()
AppClass.readByte()
DataInputStream.readByte()
SocketInputStream.read()
SocketInputStream.read(byte[],int,int)
PlainSocketImpl.aquireFD()

这个 final方法获取了一个锁。这可能是最终调用上面列出的 JVM 代码的来源。上面的堆栈有一个巧妙的特点，即在 getBytes() 下面有 5 个 Java 堆栈帧。这将与“Java 框架”列表中的 BufferBlob::Interpreter 的 5 行完美匹配。

这提出了几个新问题:

• “Native frames”下的5行BufferBlob::Interpreter有没有可能部分只是“Java 框架”部分下相同行的副本？
• 为什么错误日志不显示这 5 个堆栈帧的详细信息？

EDIT3 - 这个 Oracle 错误看起来可能是相同/相似的错误:http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6676175

显示的堆栈跟踪不完全相同，但它提到了 revoke_and_rebias 中的罕见竞争条件，该条件已在 6u14 中修复。

EDIT4 - 赏金消息应该说“熟悉热点实现”

Answer 1

VM generated stub frame 只是表示正在执行的代码是由 JVM 生成的。

堆栈本身(来自 gdb)显示 VM 正在尝试到达安全点，因为它正在撤销偏向锁。您可以在 this blog 中阅读有关偏向锁定的信息.这意味着某个线程已经获得了一个监视器，该监视器偏向该线程。后来一些其他线程想要锁，所以它必须撤销需要达到安全点的偏差(即没有线程正在执行字节代码，也就是停止世界)。

您的错误也可能表示 JVM 在某些方法的去优化过程中崩溃。这意味着 JVM 已经优化(编译)了某些方法，但随后遇到了导致它需要取消优化的代码路径，因为编译的方法不再有效。如果不升级 JVM，您不太可能找到解决此问题的方法。

看起来您有 2 个您可能想尝试的解决方法

1. 如果它是由偏向锁定驱动的，请将其关闭(-XX:-UseBiasedLocking)
2. 如果它是由反优化驱动的，找到有问题的方法并告诉热点不要首先编译它，有关如何执行此操作的说明在 this link 上

这两种方法都可能对性能产生影响。

注意，如果您可以制定出可靠地重现问题的测试场景，那么这将不会那么令人沮丧。