java - 缩放读取大型 XML 文件的应用程序

Question

我有一个应用程序可以定期读取大量 XML 文件(大约 20-30 个)，比如每 10 分钟一次。现在每个 XML 文件的大小可以近似为至少 40-100 MB。一旦读取了每个 XML，就会从文件中创建一个映射，然后将映射传递给处理器链 (10-15)，每个处理器使用数据、执行一些过滤器或写入数据库等。

现在应用程序在 32 位 JVM 中运行。现在无意迁移到 64 位 JVM。正如预期的那样，内存占用非常高……接近 32 位 JVM 的阈值。现在，当我们接收大文件时，我们将生成的映射序列化到磁盘中，并同时运行最多 3-4 个映射的处理器链，就好像我们试图同时处理所有映射一样，很容易出现内存不足。垃圾回收率也很高。

我有一些想法，但想看看是否有一些人们已经尝试/评估过的选项。那么，这里有哪些用于扩展此类应用程序的选项？

Answer 1

是的，模仿@aaray 和@MeBigFatGuy，您想为此使用一些基于事件的解析器，提到的 dom4j，或 SAX 或 StAX。

举个简单的例子，如果您批量加载 100MB 的 XML，它至少会消耗 200MB 的 RAM，因为每个字符都会立即扩展为 16 位字符。

接下来，您未使用的任何元素标签都会消耗额外的内存(加上节点的所有其他行李和簿记)并且全部浪费掉。如果您正在处理数字，如果数字大于 2 位数字，则将原始字符串转换为长字符串将是一个净赢。

如果(这是一个很大的如果)您正在使用大量相当小的字符串集，您可以通过 String.intern()'ing 来节省一些内存。这是一个规范化过程，可确保该字符串是否已存在于 jvm 中，并且是共享的。这样做的缺点是它会污染你的 permgen(一次实习，永远实习)。 PermGen 非常有限，但另一方面它几乎不受 GC 的影响。

您是否考虑过能够通过外部 XSLT 运行 XML，以在它进入您的 JVM 之前删除所有您不想处理的垃圾？有几个独立的命令行 XSL 处理器，您可以使用它们将文件预处理为可能更合理的文件。这实际上取决于您实际使用的数据量。

通过使用基于事件的 XML 处理模型，XSLT 步骤几乎是多余的。但是基于事件的模型基本上都不好用，所以也许使用 XSLT 步骤会让您重新使用一些现有的 DOM 逻辑(假设这就是您正在做的事情)。

您的内部结构越扁平，它们在内存方面的成本就越低。运行 32b 虚拟机实际上有一点优势，因为实例指针的大小只有它的一半。但是，当您谈论 1000 个或数百万个节点时，所有节点都会加起来，而且速度很快。