java - Heroku JVM 内存配额超出，但数字不相加

Question

我们有一个在 Heroku 上运行的 JVM 应用程序，该应用程序收到错误 R14 超出内存配额。

我们试图了解内存的消耗情况，但数字并没有相加。

日志下方:

 Process running mem=1174M(114.7%)
 » 10:16:28.365 2015-01-21 09:16:28.099931+00:00 heroku web.1 - - Error   R14 (Memory quota exceeded) Critical
 » 10:16:43.322 2015-01-21 09:16:42.836517+00:00 app web.1 - - measure.mem.jvm.heap.used=272M measure.mem.jvm.heap.committed=546M measure.mem.jvm.heap.max=546M
 » 10:16:43.322 2015-01-21 09:16:42.836583+00:00 app web.1 - - measure.mem.jvm.nonheap.used=106M measure.mem.jvm.nonheap.committed=107M measure.mem.jvm.nonheap.max=0M
 » 10:16:43.322 2015-01-21 09:16:42.836644+00:00 app web.1 - - measure.threads.jvm.total=136 measure.threads.jvm.daemon=21 measure.threads.jvm.nondaemon=105 measure.threads.jvm.internal=10
 » 10:16:43.322 2015-01-21 09:16:42.853114+00:00 app web.1 - - measure.mem.linux.vsz=2489M measure.mem.linux.rss=848M

Heroku 报告 1174M 正在使用。 heroku-javaagent-1.4 报告其下方的指标，总计为 546+107+136/2=721M。剩下的1174-721=453M可以花在哪里？我们如何继续排除故障？

考虑到我们的 JVM 选项，我在这里分解了 136 个线程，每个线程有 512K 堆栈:

-javaagent:heroku-javaagent-1.4.jar=stdout=true,lxmem=true -Xms568m -Xmx568m -Xmn192m -Xss512k -XX:+UseCompressedOops

用于在 1024M 内存的 2x dyno 上运行。

谢谢

Answer 1

这里有几种可能性。最有可能的是某些东西正在为某种 IO 分配 native 内存映射。报告 JVM 内存使用情况的工具无法看到这一点。最常见的是，这种情况是由 Java NIO ByteBuffer 对象发生的。这可以通过代码中的某些内容来完成，这可能表明应用程序中存在内存泄漏。或者它可以通过您的应用程序所基于的框架/服务器来完成。

我发现 Play 框架和 Jetty 在这方面尤其糟糕。在许多情况下，它们分配数百兆字节的 native 内存。您正在使用其中任何一个吗？我知道有人从 Jetty 切换到 Tomcat 并解决了这个问题。

最终，如果额外内存达到稳定状态，则可能没问题。这正是您的应用程序运行所需的。但如果你发现它不断增长，那么它可能表明存在内存泄漏。

我建议向 Heroku 的支持提交一份请求，他们可以使用 smap 来提供有关内存分配位置的更多信息。

全面披露:我为 Heroku 工作。