gpt4 book ai didi

elasticsearch - Elasticsearch 索引是否在删除时保留信息?

转载 作者:行者123 更新时间:2023-12-03 02:04:41 32 4
gpt4 key购买 nike

我有一个加载了文档的 Elasticsearch 索引。如果我删除该索引上的所有文档,但保留索引本身,它是否会保留该字段的 tf-idf 评分中使用的标记?即,如果我加载新文档,它们是使用该索引数据的旧内容重新标记和重新分析,还是完全新的结果,就好像旧文档从未存在一样?删除所有文档时评分数据中是否有内存?

最佳答案

在 Elasticsearch 中删除文档后,评分过程中有一些内存。具体来说,TF-IDF 评分过程在评分中使用分片的 maxDOCS 值(评分是按分片进行,而不是按索引进行)。但是,maxDOCS 在删除文档后不会更新,因此会影响评分。从之前在 github 中的讨论:

well deleted documents still contribute to the score calculation since they are only marked as deleted but statistics are not updated so yes they contribute to the score.



https://github.com/elasticsearch/elasticsearch/issues/3578

关于数据本身,删除后数据还在Lucene索引中,只是标记为已删除而不是用户或之后返回。合并 lucene 段文件时会实际删除数据。

实际上,除了 maxDOCS 和评分的挥之不去的问题之外,这没有任何影响。对新文档进行标记和分析,而不会对现有已删除文档产生任何影响。因此,虽然评分过程中有一些内存,但通常不会被认为是一个大问题。

关于elasticsearch - Elasticsearch 索引是否在删除时保留信息?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28049861/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com