Java:通过 2D float (floats[][]) 数组减少内存消耗

Question

我有 Java 应用程序，它主要使用 2D float 组(float[][] 数组)，它实际上在黑色背景上保存图像。两个维度都相等(正方形)并且是 2 的幂(主要是 256、512、1024)，因此在大多数情况下靠近边界的区域都为零。

为了提高性能(有一些 FFT)和降低对这些数组的操作(如旋转等)的复杂性，使大小等于 2 的幂。最近，我在 6Gb 的机器上遇到了此应用程序缺少堆的问题。根据我的计算——这个应用程序的内存消耗应该高达 2-3Gb，而它达到 4-5Gb(在 Windows 任务管理器中查看)。我使用了“YourKit”分析器，它显示那些 float 组确实占用了大部分内存，但是，这些 float 组的总粗略大小应该是 1.3Gb(好吧，我知道由 JVM 决定如何存储数据，但是我没想到内存消耗会有 2-3 倍的差异)。

我试图用 Snappy 压缩器即时压缩/解压缩数据(内存消耗下降到 3.5Gb)，但性能下降了好几次，这不是很可接受。另外，我在用 BufferedImage 替换那些 floats[][] 时测试了性能，但是性能很差。

因此，还有 2 种方法可以帮助我减少内存消耗:1) 为 float[][] 数组编写包装器以保存“零”元素(有很多“空”行和列)2) 远离“2 的幂”

这两种方式都需要相当多的编码/重构，所以当我在考虑“是还是不是”时 - 伙计们，你们对这个问题有更好的线索吗？

谢谢!

Answer 1

FFT 需要一个复数数组，其大小是实际数据数组的两倍，即使您在输入端从实数数组转换回最后的幅度数组也是如此。这可能占内存使用量超过预期的 2 倍。

稀疏数组不适用于 FFT，因为 FFT 中的中间步骤几乎总是填满整个复数数组。

许多现代高性能 FFT 库，例如基于 FFTW 的库，可以非常有效地处理 FFT 长度，而不仅仅是 2 的幂(任何长度只是小素数的乘积都可以相当有效率的)。对于许多尺寸，这可以节省大量 2D 填充。