python - 将未知词解析为已知词的有效方法？

Question

我正在设计一个文本处理程序，它将从一个长的逐条列出的文本文档中生成一个关键字列表，并将具有相似含义的单词的条目组合在一起。那里有指标，但是我有一个新问题来处理我正在使用的词典中没有的单词。

我目前正在使用 nltk 和 python，但我这里的问题具有更抽象的性质。给定一个不在字典中的单词，将其解析为字典中的单词的有效方法是什么？我目前唯一的解决方案是遍历字典中的单词，并从输入的单词中选择具有最短 Levenshtein 距离(编辑距离)的单词。

显然，这是一种非常缓慢且不切实际的方法，而且我实际上不需要字典中的绝对最佳匹配，只要它是一个包含的词并且非​​常接近即可。在解决方案中，效率对我来说更重要，但也需要基本的准确性。

关于如何将一些未知单词解析为字典中已知单词的任何想法？

Answer 1

看起来您需要一个拼写校正器来匹配字典中的单词。下面的代码有效并直接取自此博客 http://norvig.com/spell-correct.html作者:Peter Norvig，

import re, collections

def words(text): return re.findall('[a-z]+', text.lower()) 

def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1
    return model

NWORDS = train(words(file('big.txt').read()))

alphabet = 'abcdefghijklmnopqrstuvwxyz'

def edits1(word):
    splits     = [(word[:i], word[i:]) for i in range(len(word) + 1)]
    deletes    = [a + b[1:] for a, b in splits if b]
    transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
    replaces   = [a + c + b[1:] for a, b in splits for c in alphabet if b]
    inserts    = [a + c + b     for a, b in splits for c in alphabet]
    return set(deletes + transposes + replaces + inserts)

def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

def known(words): return set(w for w in words if w in NWORDS)

def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=NWORDS.get)

big.txt 是包含已知单词的字典。