algorithm - 如何使倒排索引搜索更快？

Question

我正在设计一个全文搜索引擎的架构。其中一点是在响应时间很少的大型数据集之间处理查询。我能弄清楚的一件事是将倒排索引拆分为多个分区。有两种策略:基于术语的分区和基于文档的分区。但我真的很想知道是否有任何其他方法可以在大型数据集中更快地进行反向搜索？

Answer 1

这video是与 ElasticSearch 的开发者 Shay Banon 的演讲分布式全文搜索引擎。在视频中，他讨论了基于术语的分区和基于文档的分区的优缺点。

基本上，基于术语的分区会在进程/节点之间产生过多的网络带宽。而且很难很好地实现。基于文档的实现和产生结果极其简单。

此外，in this lecture by Jeffrey Dean他还解释了差异，并说 Google 使用基于文档的分区。

这是分发搜索引擎的两种主要方式。我不知道其他方法。无论如何，您可能想要搜索信息检索文献以查找有关该主题的新作品。