c# - 智能数据库搜索

Question

问题是有一个包含大约 20k 客户记录的数据库，我想尽最大努力避免重复条目。数据库是 Microsoft SQL Server 2005，维护该数据库的应用程序是 Microsoft Dynamics/SL。我正在创建一个与该数据库交互的 ASP.NET web 服务。我的服务可以将客户记录插入数据库、从中读取记录或修改这些记录。在我的网络服务中，或者通过 MS Dynamics，或者在 Sql Server 中，我想在用户确认添加新记录之前给出可能匹配的列表。

因此用户会提交一条记录，如果它看起来是唯一的，则该记录将保存并返回一个新的 ID。如果可能存在重复，则用户可以重新提交并确认说“是的，我看到可能的重复，这是一条新记录，我想提交它”。

如果只是标点符号或空格，这很容易(例如，如果您输入“Company, Inc.”并且数据库中有一个“Company Inc”，但是如果有细微的变化，例如“Company Corp.”而不是“Company Inc”，或者如果存在粗指拼写错误，例如“Cmpany, Inc”。是否有可能返回列表中的记录？如果绝对不可能，我会处理与我所拥有的。如果记录由于重复而需要合并，它只会在以后导致更多的工作。

Answer 1

其中的细节algorithm最适合您的方法在很大程度上取决于您的领域，因此我建议您尝试几种不同的方法——您甚至可能需要组合一些方法以获得最佳结果。缩写词，尤其是特定领域的缩写词，可能也需要进行预处理或标准化。

对于名称，您最好使用 phonetic algorithm - 考虑到发音。这些将使 Smith 和 Schmidt 的得分接近，因为他们在说这些词时很容易混淆。 Double Metaphone是不错的第一选择。

对于粗指法，您最好使用 edit distance算法 - 给出两个词之间的“差异”。这些将使 Smith 和 Smoth 得分接近 - 即使 2 可能会通过语音搜索。

T-SQL 有 SOUNDEX 和 DIFFERENCE - 但他们很穷。 Levenshtein variant 是规范的选择，但还有其他不错的选择 - 如果您找不到合适的许可实现，其中大部分都相当容易在 C# 中实现。

与 T-SQL 相比，从 C# 编写/使用所有这些都将更容易(尽管我确实发现 double metaphone in a horrendous abuse of T-SQL 可能在 SQL 中工作)。

尽管这 example is in Access (而且我从未真正看过代码或使用过实现)包含的演示文稿很好地说明了您可能最终需要做什么。代码可能值得一看，也许是 VBA 的移植。