elasticsearch - 了解 Elasticsearch 中的段

Question

我假设 Elasticsearch 中的每个分片都是一个索引。但我在某处读到每个段都是一个 Lucene 索引。

段到底是什么？它如何影响搜索性能？在默认的 Elasticsearch 设置下，我每天的索引大小都达到 450GB 左右(我每天都会创建一个新索引)。

当我执行 curl -XPOST "http://localhost:9200/logstash-2013.03.0$i_optimize?max_num_segments=1" 时，我得到num_committed_segments=11 和 num_search_segments=11。

上面的值不应该是1吗？也许是因为 index.merge.policy.segments_per_tier 值？这一层到底是什么？

Answer 1

“索引”这个词在 Elasticsearch 中被滥用了一点——适用于太多的东西。

解释:

索引

Elasticsearch 中的“索引”有点像关系数据库中的数据库。这是您存储/索引数据的地方。但实际上，这正是您的应用程序所看到的。在内部，索引是指向一个或多个分片的逻辑命名空间。

此外，“索引”意味着将您的数据“放入”Elasticsearch。您的数据既被存储(用于检索)又被“编入索引”以供搜索。

倒排索引

“倒排索引”是 Lucene 用来使数据可搜索的数据结构。它处理数据，提取独特的术语或标记，然后记录哪些文档包含这些标记。参见 http://en.wikipedia.org/wiki/Inverted_index了解更多。

碎片

“分片”是 Lucene 的一个实例。它本身就是一个功能齐全的搜索引擎。 “索引”可以由单个分片组成，但通常由多个分片组成，以允许索引增长并拆分到多台机器上。

“主分片”是文档的主要位置。 “副本分片”是主分片的副本，它提供 (1) 在主分片死机时进行故障转移和 (2) 增加读取吞吐量

片段

每个分片包含多个“段”，其中一个段是倒排索引。分片中的搜索将依次搜索每个片段，然后将它们的结果组合到该分片的最终结果中。

当您为文档建立索引时，Elasticsearch 会在内存中(为了安全起见，在事务日志中)收集它们，然后每隔一秒左右，将一个新的小段写入磁盘，并“刷新”搜索。

这使得新段中的数据对搜索可见(即它们是“可搜索的”)，但该段尚未同步到磁盘，因此仍然存在数据丢失的风险。

每隔一段时间，Elasticsearch 会“刷新”，这意味着 fsync'ing 段，(它们现在已“提交”)并清除不再需要的事务日志，因为我们知道新数据已经写入磁盘。

分段越多，每次搜索花费的时间就越长。因此，Elasticsearch 将通过后台合并过程将多个大小相似(“层”)的段合并为一个更大的段。一旦新的更大的段被写入，旧的段就会被丢弃。当有太多相同大小的片段时，将在较大的片段上重复此过程。

段是不可变的。更新文档时，它实际上只是将旧文档标记为已删除，并为新文档建立索引。合并过程还会删除这些旧的已删除文档。