java - 减少内存流失的方法

Question

背景

我有一个 Spring 批处理程序，它读取一个文件(我正在使用的示例文件大小约为 4 GB)，对文件进行少量处理，然后将其写入 Oracle 数据库。

我的程序使用 1 个线程读取文件，使用 12 个工作线程进行处理和数据库推送。

我搅动了很多很多年轻一代的内存，这导致我的程序运行速度比我认为的要慢。

设置

JDK 1.6.18
Spring 批处理 2.1.x
4 核机器，带 16 GB 内存

-Xmx12G 
-Xms12G 
-NewRatio=1 
-XX:+UseParallelGC
-XX:+UseParallelOldGC

问题

通过这些 JVM 参数，我为老一代获得了大约 5.x GB 的内存，为新生代获得了大约 5.X GB 的内存。

在处理这个文件的过程中，我的Tenured Generation没问题。它最大可能增长到 3 GB，而且我永远不需要进行一次完整的 GC。

然而，年轻一代多次达到最大值。它上升到 5 GB 范围，然后发生并行次要 GC，并将年轻一代清除到 500 MB。次要 GC 很好，比完整 GC 更好，但它仍然会大大降低我的程序速度(我很确定当年轻一代收集发生时应用程序仍然卡住，因为我看到数据库 Activity 停止)。我将超过 5% 的程序时间卡住用于次要 GC，这似乎有些过分。我会说在处理这个 4 GB 文件的过程中，我翻动了 50-60GB 的年轻一代内存。

我没有发现我的程序有任何明显的缺陷。我试图遵守一般的 OO 原则并编写干净的 Java 代码。我尽量不无缘无故地创建对象。我正在使用线程池，并尽可能传递对象而不是创建新对象。我将开始分析应用程序，但我想知道是否有人有一些好的通用经验法则或反模式来避免导致过度内存流失？ 50-60GB 的内存流失是处理 4GB 文件的最佳方式吗？我是否必须恢复到 JDk 1.2 技巧，如对象池？ (尽管 Brian Goetz 做了一个演示，其中包括为什么对象池很愚蠢，而且我们不需要再这样做了。我相信他胜过相信我自己.. :))

Answer 1

我感觉您正在花费时间和精力来优化您不应该费心的事情。

I am spending well over 5% of my program time frozen for minor GCs, and this seems excessive.

翻转过来。您将不到 95% 的程序时间花在了有用的工作上。或者换句话说，即使您设法优化 GC 以在零时间内运行，您可以获得的最好的改进也超过 5%。

如果您的应用程序有受暂停时间影响的严格计时要求，您可以考虑使用低暂停收集器。 (请注意，减少暂停时间会增加 总体 GC 开销...)但是对于批处理作业，GC 暂停时间应该无关紧要。

可能最重要的是整个批处理作业的挂钟时间。并且(大约)95% 的时间花在做特定于应用程序的事情上，您可能会从分析/目标优化工作中获得更多返回。例如，您是否考虑过对发送到数据库的更新进行批处理？

---

So.. 90% of my total memory is in char[] in "oracle.sql.converter.toOracleStringWithReplacement"

这往往表明您的大部分内存使用发生在 Oracle JDBC 驱动程序中，同时准备将内容发送到数据库。你对此知之甚少。我会把它记为不可避免的开销。