python - 使用 scikit-learn 计算项目描述之间的余弦相似度

Question

我正在使用 python 2.7 和 scikit-learn 来查找项目描述之间的余弦相似度。

A有一个df，例如:

items    description

1fgg     abcd ty
2hhj     abc r 
3jkl     r df

我做了以下程序:

1) 对每个描述进行标记和词干处理

2)使用tf-idf将语料库变换到向量空间

3) 计算每个描述文本之间的余弦距离，作为相似度的度量。 距离 = 1 - 余弦相似度(tfidf_matrix)

我的目标是拥有一个像这样的items的相似度矩阵，并回答这样的问题:“项目1ffg和2hhj<之间的相似度是什么:

        1fgg    2hhj    3jkl
1ffg    1.0     0.8     0.1
2hhj    0.8     1.0     0.0
3jkl    0.1     0.0     1.0 

如何得到这个结果？感谢您抽出时间。

Answer 1

您可以使用 numpy 数组创建矩阵，然后添加索引和头来创建数据帧。

假设您有一个描述列表:descriptions = ['abc', 'bcd', 'etc' ...] 和相应的 tf-idf 矩阵。 (行号对应描述号)

您想要创建一个形状为 NxN 的空 numpy 数组，其中 N = len(words)

distance_matrix = np.zeros((N,N))

然后你需要用实际距离填充它:

for i in range(N):
    for j in range(N):
        distance_matrix[i,j] = cosine_distance(tf_idf[i,:], tf_idf[j,:])

您可以使用

创建数据框

pandas.DataFrame(distance_matrix,index = items_list,columns = items_list)