python - 文本聚类/NLP

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 4 年前。

Improve this question

假设数据集中有一列代表大学。我们需要对这些值进行分类，即分类后的组数应尽可能等于真实的大学数量。问题是同一所大学可能有不同的命名。举个例子:斯坦福大学=斯坦福大学=斯坦福大学。 Python 3 中有特定的 NLP 方法/函数/解决方案吗？

让我们考虑两种情况:数据可能已标记，也可能未标记。

提前致谢。

Answer 1

一种非常简单的无监督方法是使用基于 k 均值的方法。这样做的优点是您可以准确地知道您期望有多少个集群 (k)，因为您提前知道大学的数量。

然后您可以使用诸如 scikit-learn 之类的包创建您的特征向量(很可能是使用Countvectorizer和选项analyzer=char的n元字符)，您可以使用聚类将类似的大学分组在一起。

无法保证这些组会完美匹配，但我认为只要不同的拼写有些相似，它就应该工作得很好。