java - Elasticsearch空索引的开销是多少？

Question

我有一个只有一个节点的集群。该机器有 8 GB 内存，ES 进程分配有 6 GB 内存。我在该节点上运行了总共 531 个分片(522 个索引)。大多数分片几乎不包含任何数据。

统计数据如下:

文档总数:265743

删除文档:27069

总大小:136923957 字节 (130.5 MB)

字段数据:250632字节

过滤器缓存:9984 字节

段:(总计:82 memory_in_bytes:3479988)

提交的堆为 5.9 GB，使用的为 5.6 GB。

如果我在集群中创建更多索引，则节点统计数据会执行 GC 并最终进入 OOM。我知道这个配置有很多错误(只有一个节点，8 GB 中给了 6 GB)。

我想知道内存是怎么用完的。全部文档、过滤器缓存、字段数据加起来几乎没有，我仍然用完了所有内存。

Answer 1

根据我个人使用 ES 1.x 和 2.x 的经验，每个分片的开销并不小，通常在几 MB/分片的范围内。据我了解，这是为索引缓冲区、状态元数据、对 lucene 对象的引用、缓存对象等保留的内存。

基本上保留了一点内存以便能够快速索引并在需要时启动缓存。我不知道这在 5.x 版本中还有多少是正确的。