python - 计算余弦相似度矩阵，无需 scipy、sklearn.metrics.pairwise

Question

假设我有一个像这样的矩阵:

[[5.05537647 4.96643654 4.88792309 4.48089566 4.4469417  3.7841264]
[4.81800568 4.75527558 4.69862751 3.81999698 3.7841264 3.68258605]
[4.64717983 4.60021917 4.55716111 4.07718641 4.0245128 4.69862751]
[4.51752158 4.35840703 4.30839634 3.97312429 3.9655597 3.68258605]
[4.38592909 4.33261686 4.2856032 4.26411249 4.24381326 3.7841264]]

我需要计算矩阵行之间的余弦相似度，但不使用“scipy”和“sklearn.metrics.pairwise”中的余弦相似度。但我可以使用“数学”。

我用这段代码尝试了它，但我无法理解如何迭代矩阵的每一行。

import math

def cosine_similarity(matrix):

  for row1 in matrix:
    for row2 in matrix:
      sum1, sum2, sum3 = 0, 0, 0
      for i in range(len(row1)):
        a = row1[i]; b = row2[i]
        sum1 += a*a
        sum2 += b*b
        sum3 += a*b
    return sum3 / math.sqrt(sum1*sum2)

 cosine_similarity(matrix)

你有什么想法我该怎么做吗？谢谢!

Answer 1

您可以使用向量化运算，因为您有一个 numpy 矩阵。此外，math.sqrt 不允许矢量化运算，因此，您可以使用 np.sqrt向量化平方根运算。以下是将相似性索引存储在列表中并返回它的代码。

import numpy as np    

def cosine_similarity(matrix):
    sim_index = []
    for row1 in matrix:
        for row2 in matrix:
            sim_index.append(sum(row1*row2)/np.sqrt(sum(row1**2) * sum(row2**2)))
    return sim_index

cosine_similarity(matrix)

# 1.0,0.9985287276116063,0.9943589065201967,0.9995100043150523,0.9986115804314727,0.9985287276116063,1.0,0.9952419798474134,0.9984515542959852,0.9957338741601842,0.9943589065201967,0.9952419798474134,1.0,0.9970632589904104,0.9962784686967592,0.9995100043150523,0.9984515542959852,0.9970632589904104,1.0,0.9992584450362125,0.9986115804314727,0.9957338741601842,0.9962784686967592,0.9992584450362125,1.0

使用列表理解的进一步简短代码

sim_index = np.array([sum(r1*r2)/np.sqrt(sum(r1**2) * sum(r2**2)) for r1 in matrix for r2 in matrix])

最终列表将转换为数组以进行 reshape 以用于绘图目的。

可视化相似度矩阵:这里由于每一行都与其自身完全相同，因此相似度索引为 1(黄色)。因此，绘制的矩阵的对角线为全黄色(索引 = 1)。

import matplotlib.pyplot as plt
plt.imshow(sim_index.reshape((5,5)))
plt.colorbar()