java - 使用 JeMalloc 在 Java 应用程序中查找 native 内存泄漏

Question

目前我正在尝试解决 Java 内存问题:我的 Java 应用程序不断使用越来越多的内存，并且最终它被 Linux OOM killer 杀死。

可能是Native Memory leak，因为经过检查带有 VisualVM 的 JVM 元空间和堆看起来都不错。

使用 top 命令我可以看到 JVM 使用的内存不断增加。

本文第一张图:

Example #1

与我在自己的应用程序中看到的完美匹配。

所以我尝试使用 JeMalloc 来查找各种文章中描述的泄漏。在这里我遇到了一个问题:当使用 jeprof 命令及以后jeprof 本身的 top 命令，它确实显示了使用的功能大多数内存，但这些都是十六进制地址，所以我必须缺少一些符号。但是我不知道我需要哪些包，我不知道。

我已经找到了这个链接: Link #1

并安装了这个包:debuginfo-install java-1.8.0-openjdk

我尝试先完成简单的步骤:

让 JeMalloc 与一个简单的应用程序一起工作，例如 w。接下来让它与 java -version 一起工作。到目前为止一切顺利，我还可以从 JeMalloc 获得具有完美概述的 PDF。

接下来让它与 java -jar simpletest.jar 一起工作 << 这里我缺少符号例如，如果我不在此处关闭 GZipInputStream，它就不会显示在 JeMalloc 结果中。

接下来让它与 java -jar myapplication.jar 一起工作 << 这里我也缺少符号。

所以我的问题基本上是:我需要什么包才能让 JeMalloc 显示所有符号名称以调试应用程序，例如:

public void test1() {
    InputStream fileInputStream = null;
    GZipInputStream gzipInputStream = null;

    try {
      fileInputStream = new FileInputStream("test.zip");
      gzipInputStream = new GZIPInputStream(fileInputStream);

      int data = gzipInputStream.read();
      while (data != -1) {
        // do something with data
        data = gzipInputStream.read();
      }

    } catch (Exception ex) {

    } finally {
      // Disabled to see whether JeMalloc can detect the leak
      /*try {
        if (gzipInputStream != null) {
          gzipInputStream.close();
        }
        if (fileInputStream != null) {
          fileInputStream.close();
        }

        gzipInputStream = null;
        fileInputStream = null;
      } catch (IOException e) {
      e.printStackTrace();
    }*/
  }
}

使用以下软件:

• Linux CentOS 7
• JeMalloc
• OpenJDK

找到的文章:

Article #1

Article #2

Article #3

Article #4

Answer 1

替换分配器(例如使用 jemalloc 或 tcmalloc)来分析内存使用情况可能会提供有关 native 内存泄漏源的提示，但它仅限于 JVM 中加载的库中可用的 native 代码符号。

要在堆栈跟踪中包含 Java 类/方法，需要生成一个映射文件，将 native 代码内存位置与其来源相关联。撰写本文时唯一的工具是 https://github.com/jvm-profiling-tools/perf-map-agent

要在堆栈中获得不仅仅是“解释器”名称，相关代码必须进行 JIT 编译，因此在 JVM 命令行选项上强制执行 -XX:CompileThreshold=1 很有趣(除了在生产 IMO 中)。

当代理在 JVM 中加载、生成映射文件和代码 JIT 编译时，perf 可用于报告 CPU 分析。内存泄漏调查需要更多处理。

如果您的 Linux 内核是 4.9 或更高版本，最好的选择是获取 bcc 及其 memleak 工具:https://github.com/iovisor/bcc/blob/master/tools/memleak_example.txt

非常感谢Brendan Gregg

Debian 系统在一个简单的 apt install bcc 之后就准备好了，但是 RedHat 系统需要做更多的工作，正如在 http://hydandata.org/installing-ebpf-tools-bcc-and-ply-on-centos-7 为 CentOS 7 所记录的那样。 (在 CentOS 6 上更糟)

作为替代方案，perf only 还可以使用特定探测器报告泄漏堆栈跟踪。脚本和示例用法可在 https://github.com/dkogan/memory_leak_instrumentation 获得。但必须适应 Java 上下文。