Python 文本匹配 - 同义词

Question

我在 Pandas 中有两列:A 和 B，每列都包含术语字符串。我的目标是在 B 列中找到与 A 列最相似的条目。我已经在使用 TF-IDF 来执行此操作，但有时存在不明显匹配的同义词，例如货币和货币。

如何找到还包含同义词的匹配项？

Answer 1

如果您处理的是单个单词对，我不确定 TF-IDF 在这里有何用处。

无论如何，有两个明显的解决方案。

使用传统知识库，我会推荐Wordnet对于此用例，它被广泛认为是行业标准。

第二种选择是使用机器学习算法 Word2Vec(或类似 Glove 的变体)。如果您使用已经像 Google News 这样训练过的模型，我会说这是最简单的解决方案。一。查看Gensim's implementation加载模型并计算相似度。