algorithm - 您如何为快速搜索编制索引文件？

Question

现在，Microsoft 和 Google 会为您硬盘上的文件编制索引，以便您可以快速搜索它们的内容。

我想知道他们是怎么做到的？你能描述一下算法吗？

Answer 1

最简单的情况是倒排索引。

最基本的算法很简单:

• 扫描文件中的单词，创建唯一单词列表
• 标准化和过滤词
• 在您的索引中放置一个将该词与该文件联系起来的条目

细节是事情变得棘手的地方，但基本原理是相同的。

通过“规范化和过滤”这些词，我的意思是将所有内容转换为小写，删除常见的“停用词”(the、if、in、a 等)，可能还有“词干提取”(删除动词和复数等)。

之后，您将获得该文件的唯一单词列表，您可以以此为基础构建索引。

有减少存储的优化，检查单词位置的技术(例如，文档中的“this”靠近“that”)。

但是，这是它完成的基本方式。