java - 如何在 JVM run 调用之间保留大型 Java 对象

Question

我正在处理以二进制格式存储在磁盘上的大型图形。从磁盘 (SSD) 读取图表并构建图表大约需要一个小时。一旦构建，图表就不会改变。该图大约需要 50GB 内存，这对服务器来说不是问题。然而，我们经常想在图表上进行大量实验，并且按小时计算图表加载时间会变得昂贵。我想知道是否有什么方法可以将对象持久化在内存中，以便JVM基本上可以在内存中定位该对象。

我知道 JVM 在进程之间共享内存，但我还没有看到任何可以让您共享整个对象而不将对象序列化为字节的东西(考虑到昂贵的重建，这可能会很慢)。由于对象很大(50GB)，数据库解决方案看起来也很慢。由于我们不修改对象(它实际上是静态的)，因此我不担心进程之间的并发问题。

我见过的最好的主意是使用 FileChannel使用始终持久的 JVM 将序列化对象映射到内存中，然后让第二个 JVM 从该 FileChannel 读取以反序列化该对象。任何其他建议将不胜感激!

Answer 1

我建议使用ChronicleMa p(我帮忙设计的)

它是:

• 坚持
• 已分享
• 堆外
• 可以大于主内存
• 可以选择最大限度地降低序列化成本。

例如https://github.com/OpenHFT/Chronicle-Map/blob/master/docs/CM_Tutorial.adoc

interface PostalCodeRange {
    int minCode();
    void minCode(int minCode);

    int maxCode();
    void maxCode(int maxCode);
}

ChronicleMap<Integer, PostalCodeRange> cityPostalCodes = ChronicleMap
    .of(CharSequence.class, PostalCodeRange.class)
    .averageKey("Amsterdam")
    .entries(50_000)
    .createOrRecoverPersistedTo(cityPostalCodesFile, false);

注意:这种情况下的值是堆内存上的享元，它允许您在不反序列化对象的情况下访问字段。