algorithm - 搜索引擎如何合并倒排索引的结果？

Question

搜索引擎如何合并倒排索引的结果？

例如，如果我搜索单词“dog”和“bat”的倒排索引，每个包含这两个单词之一的文档都会有两个巨大的列表。

我怀疑搜索引擎会遍历这些列表，一次一个文档，并尝试找到与列表结果匹配的内容。算法做了什么来使这个合并过程快速进行？

Answer 1

实际上，搜索引擎确实合并了这些文档列表。他们通过使用其他技术获得了良好的性能，其中最重要的是修剪:例如，对于每个单词，文档按照 pagerank 递减的顺序存储，并获得有机会进入前 10 个的结果(这将显示给用户)你可能只遍历狗和 bat 列表的一小部分，比如前一千个。 (当然，还有缓存，但这与查询执行算法无关)

此外，毕竟，关于狗和关于 bat 的文档那么不多:即使是数百万，如果实现得好，它也会变成瞬间。

---

附言我在我们国家领先的搜索引擎工作，然而，不是在我们旗舰搜索产品的引擎中工作，但我与它的开发人员交谈并且惊讶地发现查询执行算法实际上相当愚蠢:事实证明一个人可能会压缩一个大量 在可接受的时间范围内进行计算。当然，这一切都经过了非常优化，但没有魔法，也没有奇迹。