java - 当值为 Treemap 且 Treemap 中的数据增加到 10K 时，Ignite 缓存调用更新非常慢

Question

我有更新点燃缓存记录的代码逻辑，

缓存定义为:

IgniteCache<String, TreeMap<Long, InfoResultRecord>> txInfoCache;

键是缓存类型字符串，对于值我使用TreeMap来保持记录有序(我需要对数据进行排序)，但是更新所用的时间随着TreeMap大小的增加而增加，我发现的是当TreeMap大小在10K左右时，每次调用一条记录添加到缓存值TreeMap非常慢，大约2秒，如果我有1K数据需要添加到TreeMap，则将花费2000秒，这确实很慢而且不可以接受。

我使用调用来更新缓存以将记录添加到树形图中:

txInfoCache.invoke(txType, new TxInfoProcessor(), record);

缓存的配置是:

CacheConfiguration<String, TreeMap<Long, InfoResultRecord>> cacheCfg =
        new CacheConfiguration<>("TxInfoCache");
cacheCfg.setCacheMode(CacheMode.REPLICATED);
//cacheCfg.setStoreKeepBinary(true);
cacheCfg.setAtomicityMode(ATOMIC);
cacheCfg.setBackups(0);
txInfoCache = ignite.getOrCreateCache(cacheCfg);

向 Treemap 添加记录的处理器是:

private static class TxInfoProcessor implements EntryProcessor<
        String,
        TreeMap<Long, InfoResultRecord>,
        TreeMap<Long, InfoResultRecord>> {

    @Override
    public TreeMap<Long, InfoResultRecord> process(
            MutableEntry<String,
                    TreeMap<Long, InfoResultRecord>> entry, Object... args) {

        InfoResultRecord record = (InfoResultRecord) args[0];

        final Long oneDayMsSeconds = 24 * 60 * 60 * 1000L;

        TreeMap<Long, InfoResultRecord>
                InfoResultRecordTreeMap = entry.getValue();

        if (InfoResultRecordTreeMap == null) {
            InfoResultRecordTreeMap = new TreeMap<>();
        }


        InfoResultRecordTreeMap.put(record.getDealTime() + oneDayMsSeconds, record);
        entry.setValue(InfoResultRecordTreeMap);

        return null;
    }
}

有什么问题吗？或者我以错误的方式使用缓存？

我还编写了一个简单的测试代码来验证使用 TreeMap 获取/放置时的速度:

public class Server2 {

    public static void main(String[] args) throws IgniteException {
        try (Ignite ignite = Ignition.start("server-start.xml")) {

            IgniteCache<String, TreeMap<Long, String>> testCache = ignite.getOrCreateCache("testCache");
            testCache.put("my",new TreeMap<>());

            while (true) {
                StopWatch stopWatch = new StopWatch();
                stopWatch.start("1");
                TreeMap<Long, String> map = testCache.get("my");
                stopWatch.stop();
                stopWatch.start("2");
                map.put(System.currentTimeMillis(),String.valueOf(new Random().nextInt(1000000000)));
                testCache.put("my",map);
                stopWatch.stop();

                System.out.println("cacheSize:"+map.size()+","+stopWatch.prettyPrint());
            }
        }
    }
}


cacheSize:1000,StopWatch '': running time (millis) = 195
-----------------------------------------
ms     %     Task name
-----------------------------------------
00080  041%  1
00115  059%  2

cacheSize:1001,StopWatch '': running time (millis) = 38
-----------------------------------------
ms     %     Task name
-----------------------------------------
00028  074%  1
00010  026%  2


cacheSize:3000,StopWatch '': running time (millis) = 139
-----------------------------------------
ms     %     Task name
-----------------------------------------
00055  040%  1
00084  060%  2

cacheSize:3001,StopWatch '': running time (millis) = 68
-----------------------------------------
ms     %     Task name
-----------------------------------------
00042  062%  1
00026  038%  2

它清楚地表明，当Treemap大小增加时，ignite缓存获取/放置的时间消耗增加，我认为这应该是1~2ms，但这里是xx毫秒，随着大小的增加，它会增加到xxxms甚至秒。

Answer 1

很明显，在这种情况下，读/写时间将会增加，因为每次操作都需要将数据从堆外复制到堆(反之亦然)并序列化/反序列化，但是，我已经在本地检查您的代码，时间增长并没有那么剧烈。例如，我得到了

cacheSize:10082,StopWatch '': running time (millis) = 18
-----------------------------------------
ms     %     Task name
-----------------------------------------
00009  050%  1
00009  050%  2

无论如何，我认为您没有为您的用例选择一个好的解决方案 - 我建议单独存储所有这些数据，即引入带有 TreeMap 字符串名称字段的键和行的某些长键并存储这些按行数据。使用它，您的写入操作将会快得多。另外，在这种情况下，您将需要 collocate data按树形图名称。要请求所有数据，您可以使用带有 ORDER BY 语句的 SQL。并且不要忘记使用索引!