python - 在 panda 数据框中用更好的替代方案替换 for 循环以进行相似性测量

Question

我正在创建一个函数，该函数将计算数据集中每个记录(MxK 维度)与另一个数据集(NxK 维度)中记录的余弦相似度，其中 N 远小于 M。

当我在一个小数据集(例如“iris”数据集)上测试下面的代码时，它可以很好地完成工作。我担心当我有更大的数据集(100K 条记录和 100 多个变量)时它可能会很困难。

我知道 for 循环对于这种情况是不可取的，在这种情况下我有两个 for 循环。我想知道是否有人可以提出改进此代码的方法。

import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

def similarity_calculation(seed_data, pool_data):
    # Create an empty dataframe to store the similarity scores
    similarity_matrix = pd.DataFrame()
    for indexi, rowi in pool_data.iterrows():
        # Create an array to score similarity score for each record in pool data
        similarity_score_array = []
        for indexj, rowj in seed_data.iterrows():
            # Fetch a single record from pool dataset
            pool = rowi.values.reshape(1, -1)
            # Fetch a single record from seed dataset
            seed = rowj.values.reshape(1, -1)
            # Measure similarity score between the two records
            similarity_score = (cosine_similarity(pool, seed))[0][0]
            similarity_score_array.append(similarity_score)
        # Append the similarity score array as a new record to the similarity matrix
        similarity_matrix = similarity_matrix.append(pd.Series(similarity_score_array), ignore_index=True)

编辑1:示例数据 iris dataset使用方法如下

iris_data = pd.read_csv("iris_data.csv", header=0)
# Split the data into seeds and pool sets, excluding the species details
seed_set = iris_data.iloc[:10, :4]
pool_set = iris_data.iloc[10:, :4]

预期结果是

我的新紧凑代码(带有一个 for 循环)如下

def similarity_calculation_compact(seed_data, pool_data):
    Array1 = pool_data.values
    Array2 = seed_data.values
    scores = []
    for i in range(Array1.shape[0]):
        scores.append(np.mean(cosine_similarity(Array1[None, i, :], Array2)))
    final_data = pool_data.copy()
    final_data['mean_similarity_score'] = scores
    final_data = final_data.sort_values(by='mean_similarity_score', ascending=False)
    return(final_data)

我得到的输出是

我期待相同的结果，因为这两个函数都应该从与种子数据最相似(就平均余弦相似度而言)的池数据中获取记录。

Answer 1

不需要 for 循环，因为 cosine_similarity 将两个形状数组 (n_samples_X, n_features) 和 (n_samples_Y, n_features) 作为输入 并通过计算每对两个输入数组之间的余弦相似度来返回形状为 (n_samples_X, n_samples_Y) 的数组。

import numpy as np
import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity

iris_data = pd.read_csv("iris.csv", header=0)

seed_set = iris_data.iloc[:10, :4]
pool_set = iris_data.iloc[10:, :4]

np.mean(cosine_similarity(pool_set, seed_set), axis=1)

结果(排序后):

array([0.99952255, 0.99947777, 0.99947545, 0.99946886, 0.99946596, ...])