gpt4 book ai didi

elasticsearch - 我可以将roaringbitmap用于lucene反向索引

转载 作者:行者123 更新时间:2023-12-03 01:25:26 25 4
gpt4 key购买 nike

我们有超过50亿个文档需要全文检索才能建立索引。所有这些文档都是静态的,不需要更改。

经过大量研究,我们发现使用带有Redis的咆哮位图来构建反向索引非常快,而且资源最少。

现在的问题是,我们可以在Lucene反向索引中使用咆哮的位图吗?

最佳答案

在Lucene世界中已经评估了使用咆哮位图的想法。您可以在这里查看全部结果-http://people.apache.org/~jpountz/doc_id_sets4.html

一般的想法是,尽管咆哮的位图是有效的,但只能用于以下两个功能:

  • 遍历所有匹配的文档(如果您运行恒定分数查询,可能是这种情况)
  • 前进到集合中包含的第一个文档ID,通常用于过滤器和查询
  • 之间的交集

    总而言之,我认为当前Lucene在大多数情况下都使用 Elias-Fano编码,据估计该编码速度更快。这也意味着,您可以只使用Lucene并充满信心,它在构建倒排索引和处理查询方面的速度非常快

    关于elasticsearch - 我可以将roaringbitmap用于lucene反向索引,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58419937/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com