nlp - 如何实现 "Did you mean"？

Question

这个问题已经有答案了:

已关闭 10 年前。

Possible Duplicate:
How does the Google “Did you mean?” Algorithm work?

假设您的网站中已有搜索系统。如何实现“您的意思是:<spell_checked_word>”，就像 Google 在某些 search queries 中所做的那样？

Answer 1

事实上，谷歌所做的事情非常重要，而且乍一看也是违反直觉的。他们不会做类似检查字典之类的事情，而是利用统计数据来识别“相似”查询，这些查询返回的结果比您的查询更多，确切的算法当然是未知的。

这里有不同的子问题需要解决，作为所有与自然语言处理统计相关的基础，有一本必读的书:Foundation of Statistical Natural Language Processing .

具体地解决单词/查询相似性问题，我使用 Edit Distance 取得了很好的结果。 ，一种字符串相似度的数学度量，效果出奇的好。我曾经使用 Levenshtein，但其他的可能值得研究。

Soundex - 根据我的经验 - 很糟糕。

实际上，有效地存储和搜索一大堆拼写错误的单词词典并进行亚秒级检索也很重要，您最好的选择是利用现有的全文索引和检索引擎(即不是您数据库的引擎)，其中Lucene是目前最好的之一，并且巧合地移植到了许多平台。