machine-learning - 对相似的词组进行分类

Question

我有一组单词短语，我想按照下面的示例对它们进行分类。

示例:

adaptive and intelligent educational system
adaptive and intelligent tutoring system
adaptive educational system

对于人类来说，很容易理解上述三词短语应该属于一个类别。

有什么简单的方法吗？

目前，我正在使用亲和传播聚类算法，如下使用编辑距离。

words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

但是，我没有得到想要的输出。因此，请向我建议一种合适的方法来获得我想要的结果。

Answer 1

编辑距离适用于角色。

从这个角度来看，“教育”和“辅导”是尽可能不同的。

如果您想按语义相似度进行聚类，请不要使用字符级别相似度。

不幸的是，语义相似性很难。您将需要以某种方式使用庞大的知识库。例如，使用整个万维网来了解“辅导”和“教育”是相关的。或者你可以尝试例如WordNet 等