python - 如何在 Python 中为余弦相似度运行一个大矩阵？

Question

我想计算文章之间的余弦相似度。我遇到了一个问题，即我的实现方法对于我要运行的数据量来说需要很长时间。

from scipy import spatial
import numpy as np 
from numpy import array
import sklearn
from sklearn.metrics.pairwise import cosine_similarity 

I = [[3, 45, 7, 2],[2, 54, 13, 15], [2, 54, 1, 13]]

II = [2, 54, 13, 15]

print cosine_similarity(II, I)

在上面的例子中，计算 I 和 II 已经用了 1.0s，我的数据维度大约是 (100K, 2K)。

还有其他包可以用来运行一个巨大的矩阵吗？

Answer 1

使用sklearn.preprocessing.normalize，这对我来说更快

result = np.dot(normalize(II, axis=1), normalize(I, axis=1).T)

(单位归一化向量之间的点积相当于余弦相似度)。