java - Solr Filter Cache(FastLRUCache)占用内存过多导致内存不足？

Question

我有一个 Solr 设置。一个主站和两个从站用于复制。我们在索引中有大约 7000 万份文档。从站有 16 GB 的 RAM。 10GB 用于操作系统和硬盘，6GB 用于 Solr。

但时不时地，slaves会内存不足。当我们在内存不足之前下载转储文件时，我们可以看到该类:

org.apache.solr.util.ConcurrentLRUCache$Stats @ 0x6eac8fb88

正在使用多达 5Gb 的内存。我们广泛使用过滤器缓存，它有 93% 的命中率。这是 solrconfig.xml 中过滤器缓存的 xml

<property name="filterCache.size" value="2000" />
<property name="filterCache.initialSize" value="1000" />
<property name="filterCache.autowarmCount" value="20" />

<filterCache class="solr.FastLRUCache"
             size="${filterCache.size}"
             initialSize="${filterCache.initialSize}"
             autowarmCount="${filterCache.autowarmCount}"/>

查询结果具有相同的设置，但使用的是 LRUCache，并且只使用了大约 35mb 的内存。配置是否有问题需要修复，或者我是否只需要更多内存用于过滤器缓存？

Answer 1

在一位 friend 告诉我过滤器缓存的大致工作原理后，我就清楚了为什么我们时不时会出现内存不足的错误。

那么过滤器缓存有什么作用呢？基本上它会创建类似于位数组的东西，告诉哪些文档与过滤器匹配。一些类似的东西:

cache = [1, 0, 0, 1, .. 0]

1表示命中，0表示没有命中。因此，对于示例，这意味着过滤器缓存匹配第 0 个和第 3 个文档。所以缓存有点像位数组，长度为文档总数。假设我有 5000 万个文档，那么数组长度将为 5000 万，这意味着一个过滤器缓存将占用 ram 中的 50.000.000 位。

所以我们指定我们想要 2000 个过滤器缓存，这意味着它将占用的 RAM 大致是:

50.000.000 * 2000 = 100.000.000.000 bit 

如果将其转换为 Gb。它将是:

100.000.000.000 bit / 8 (to byte) / 1000 (to kb) / 1000 (to mb) / 1000 (to gb) = 12,5 Gb

因此，仅过滤器缓存所需的总 RAM 大约为 12Gb。这意味着如果 Solr 只有 6Gb 堆空间，它将无法创建 2000 个过滤器缓存。

是的，我知道 Solr 并不总是创建这个数组，如果过滤器查询的结果很低，它可以创建其他占用更少内存的东西。这个计算只是大致说了filter cache的上限是多少，如果它在ram中有2000个缓存。在其他更好的情况下它可以更低。

因此，一种解决方案是降低 solr 配置中的最大过滤器缓存数。我们检查了 solr stats，大多数时候我们只有大约 600 个过滤器缓存，所以我们可以将过滤器缓存数量减少到最大值。

另一种选择当然是添加更多 RAM。