nlp - 匹配包含具有排列的单词的行

Question

假设您有一个包含 varchar 列的大表。

您将如何匹配 varchar col 中包含单词“preferred”的行，但数据有点嘈杂并且偶尔包含拼写错误，例如:

['$2.10 Cumulative Convertible Preffered Stock, $25 par value',
'5.95% Preferres Stock',
'Class A Preffered',
'Series A Peferred Shares',
'Series A Perferred Shares',
'Series A Prefered Stock',
'Series A Preffered Stock',
'Perfered',
'Preffered  C']

上面拼写错误中“首选”一词的排列似乎显示出 family resemblance但它们的共同点很少。请注意，拆分每个单词并运行 levenshtein每一行的每一个字都将是非常昂贵的。

更新:

还有其他几个这样的例子，例如带有“限制”:

['Resticted Stock Plan',
'resticted securities',
'Ristricted Common Stock',
'Common stock (restrticted, subject to vesting)',
'Common Stock (Retricted)',
'Restircted Stock Award',
'Restriced Common Stock',]

Answer 1

您能否尝试在表格的小样本上对其进行训练以查找可能的拼写错误(使用 split + Levenshtein)，然后在整个表格中使用生成的单词列表？