c# - 文本索引算法

Question

我正在为归档系统编写 C# winform 应用程序。该系统有一个巨大的数据库，其中一些表将有超过 150 万条记录。我需要的是一种索引这些记录内容的算法。文件主要是Microsoft office、PDF和TXT文档。任何人都可以帮忙吗？无论是想法、链接、书籍还是代码，我都很感激 :)

示例:如果我在数据库的某个文件夹中搜索单词“international”，我会得到包含该单词的所有文件，这些文件按特定标准(例如相关性、修改日期...等)排序

Answer 1

您需要创建所谓的倒排索引 - 它是搜索引擎工作方式的核心(如 Google)。 Apache Lucene 可以说是最好的倒排索引库。您有 2 个选择:

1. Lucene.net - Java Lucene 库的 .NET 端口。

2. Apache Solr - 一个成熟的搜索服务器，使用 Lucene 库构建，并且可以轻松集成到您的 .NET 应用程序中，因为它具有 RESTful API。开箱即用，具有多种功能，例如缓存、缩放、拼写检查等。您可以使用出色的 SolrNet 使应用程序与 Solr 的交互变得更轻松。图书馆。

3. Apache Tika提供了一个非常广泛的数据/元数据提取工具包，可以处理 PDF、HTML、MS Office 文档等。一个更简单的选择是 IFilter API。参见 this文章了解更多详情。