java - 填充值大小变化较大的 ChronicleMap 时出现 IllegalArgumentException

Question

不久前，我问过this question关于 ChronicleMap 被用作 Map<String,Set<Integer>> 。基本上，我们有一个集合，其中平均值 Set<Integer>可能是 400，但最大长度是 20,000。对于 ChronicleMap 2，这导致了相当严重的 JVM 崩溃。我转移到 ChronicleMap 3.9.1 并且现在开始出现异常(至少不是 JVM 崩溃):

java.lang.IllegalArgumentException: Entry is too large: requires 23045 chucks, 6328 is maximum.
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.allocReturnCode(CompiledMapQueryContext.java:1760)
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.allocReturnCodeGuarded(CompiledMapQueryContext.java:120)
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.alloc(CompiledMapQueryContext.java:3006)
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.initEntryAndKey(CompiledMapQueryContext.java:3436)
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.putEntry(CompiledMapQueryContext.java:3891)
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.doInsert(CompiledMapQueryContext.java:4080)
    at net.openhft.chronicle.map.MapEntryOperations.insert(MapEntryOperations.java:156)
    at net.openhft.chronicle.map.impl.CompiledMapQueryContext.insert(CompiledMapQueryContext.java:4051)
    at net.openhft.chronicle.map.MapMethods.put(MapMethods.java:88)
    at net.openhft.chronicle.map.VanillaChronicleMap.put(VanillaChronicleMap.java:552)

我怀疑这仍然是因为我的值与平均值相差甚远。我假设 ChronicleMap 根据我给构建器的平均值确定最大块数为 6328，但没想到会有一个巨大的值，需要 23045 个 block 。

所以我的问题是:解决这个问题的最佳方法是什么？我正在考虑但仍不确定的一些方法:

1. 使用ChronicleMapBuilder.maxChunksPerEntry或ChronicleMapBuilder.actualChunkSize 。也就是说，我如何确定性地弄清楚这些应该设置成什么？另外，如果设置得太高，可能会导致大量碎片和性能下降，对吗？
2. 设置“最大集合大小”，并将非常大的集合拆分为许多较小的集合，并相应地设置键。例如，如果我的 key 是 XYZ产生 Set<Integer>大小为 10000，也许我可以将其分成 5 个键 XYZ:1 , XYZ:2等等，每个都有一组大小为 2000 的集合。这感觉就像是对我可以在 ChronicleMap 中配置的东西进行了黑客攻击，并导致大量代码感觉好像没有必要。我在其他问题中也提到了同样的计划。

其他想法/想法表示赞赏!

Answer 1

如果您不指定maxChunksPerEntry()手动时，条目的最大大小受到段层大小的限制(以 block 为单位)。因此，您需要的是增大段层的大小。您可以尝试做的第一件事是配置 actualSegments(1) ，如果您不打算同时从 JVM 中的多个线程访问映射。您可以通过 ChronicleMapBuilder.actualChunkSize() 对这些配置进行额外控制, actualChunksPerSegmentTier() 和 entriesPerSegment() .

默认情况下 ChronicleMapBuilder 选择配置平均值大小的 1/8 到 1/4 之间的 block 大小。因此，如果您的段层大小为 6328 个 block ，则您的段配置为包含大约 1000 个条目。如果您的平均值集大小有 400 个元素，最大值为 20,000，则平均值和最大值之间的差异应约为 50 倍，但从堆栈跟踪来看，您的其中一个条目比平均值大 2000 倍以上。可能你还没有考虑到一些事情。

对于这么大的值，我建议开发和使用内存效率更高的值序列化器，因为默认的序列化器会生成大量垃圾。例如它可以使用原语 IntSet它实现了 Set<Integer>来自 fastutil 或 Koloboke 或 Koloboke 编译库。

另外我建议使用现在可用的最新版本，Chronicle Map 3.9.1 已经过时了。