java - 运行此 Java 程序时 RAM 迅速增加

Question

程序正在从网络摄像机接收以字节为单位的图像数据，然后处理图像。程序第一次启动时使用470Mb RAM，每1秒增加到15Mb，一直持续到没有足够的空间而计算机挂起。

方法 getImage() 每 100 毫秒调用一次

我做了一些实验，将在这里分享。原始代码是这样的:(其中缓冲区只创建一次，之后就可以重复使用)

private static final int WIDTH = 640;
private static final int HEIGHT = 480;
private byte[] sJpegPicBuffer = new byte[WIDTH * HEIGHT]; 

private Mat readImage() throws Exception {
    boolean isGetSuccess = camera.getImage(lUserID, sJpegPicBuffer, WIDTH * HEIGHT);
    if (isGetSuccess) {
        return Imgcodecs.imdecode(new MatOfByte(sJpegPicBuffer), Imgcodecs.CV_LOAD_IMAGE_UNCHANGED);
    }
    return null;
}

在上面的代码中，RAM 上升到计算机挂起(99% 10Gb)。然后我像这样更改了代码:(在每个循环中它将创建一个新的缓冲区)

private static final int WIDTH = 640;
private static final int HEIGHT = 480; 

private Mat readImage() throws Exception {
    byte[] sJpegPicBuffer = new byte[WIDTH * HEIGHT];
    boolean isGetSuccess = camera.getImage(lUserID, sJpegPicBuffer, WIDTH * HEIGHT);
    if (isGetSuccess) {
        return Imgcodecs.imdecode(new MatOfByte(sJpegPicBuffer), Imgcodecs.CV_LOAD_IMAGE_UNCHANGED);
    }
    return null;
}

在上面的代码中，RAM 上升到大约 43% (5Gb)，然后释放。

现在的问题是，第一段代码似乎得到了优化，可以重用缓冲区，避免在每次调用中创建新的内存空间，但结果不是我们想要的。 为什么？

在第二个代码块中，代码似乎没有第一个代码块那么优化，但比第一个代码块运行得更好。

但总的来说，为什么在第一种情况下 RAM 增加到 10Gb，在第二种情况下增加到 5Gb。我们如何控制这种情况？

Answer 1

这只是一个猜测，尽管我在现实生活中见过几次类似的场景。

您的 Java 代码正在与 native 相机 SDK (dll) 交互。 native 代码就像在非 JVM 内存中分配缓冲区并使用一些内部 Java 对象来访问该缓冲区。常见(非常糟糕)的做法是，如果不再使用 native 缓冲区，则依赖 Java 对象终结器释放 native 缓冲区。

终结器依赖垃圾收集器来触发它们，这就是模式经常失败的原因。虽然终结器保证最终会运行，但实际上只要 Java 堆中有足够的空间并且 native 内存不会及时释放，这种情况就不会发生。

Java 堆大小有硬性限制，但只要操作系统允许增长，C/C++ 使用的 native 内存池就可以增长。

关于您的问题

我假设在你的第一个代码片段中，Java 堆流量很低。 GC 处于空闲状态，并且没有执行终结器，因此 Java 堆外部分配的内存不断增长。

在第二个片段中，您正在对 Java 堆施加压力，迫使 GC 频繁运行。作为 GC 终结器的副作用，执行并释放 native 内存。

您的相机 SDK 可以依赖 Java 直接内存缓冲区(这些内存是 C 代码直接访问的，因此可以方便地通过 JVM 边界传递数据)，而不是在 native 代码中分配终结器和缓冲区。尽管效果大致相同，因为 Java 直接缓冲区实现使用相同的模式(使用幻像引用而不是终结器)。

建议

• -XX:+PrintGCDetails和-XX:+PrintReferenceGC options 将打印有关引用处理的信息，以便您可以验证是否确实使用了终结器/虚拟引用。
• 查看相机的 SDK 文档，看看是否可以通过 API 提前释放原生资源
• 选项-XX:MaxDirectMemorySize=X如果您的相机的 SDK 依赖于它们，则可用于限制直接缓冲区的使用。虽然它不是一个解决方案，但它是一个安全网，可以让您的应用程序在操作系统内存耗尽之前 OOM
• 每隔几帧强制一次(例如System.gc())。这是另一个糟糕的选择，因为 System.gc() 的行为依赖于 JVM。

附注
This is my post关于使用终结器和幻像引用进行资源管理。