python - python中的内存错误TFIDF余弦相似度

Question

有一个包含项目描述的大型数据集。它包含项目 ID 及其文本描述。人们可以为描述中的术语的 tf_idf 值构建一个余弦相似度矩阵。

我的数据集包含 300336 个项目的描述。当尝试执行我的 python 代码时，我遇到了 MemmoryError:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import *

tf = TfidfVectorizer(analyzer='word',
                         ngram_range=(1, 1),
                         min_df=0)
tfidf_mx = tf.fit_transform(df.text)
cosine_similarities = linear_kernel(tfidf_mx)

我也尝试过另一种方式

sim_mx = cosine_similarity(tfidf_mx, dense_output=False)

但它也给了我一个 MemoryError。

即使是用于余弦相似度计算的稀疏矩阵也可能有上限吗？

你知道为什么会出现MemoryError以及如何处理吗？

Answer 1

发生 MemoryError 是因为输出(a)大得离谱并且(b)密集，无论它存储在稀疏矩阵还是密集矩阵中。

(a) 如果输入包含 n 个项目，则需要计算和返回 n * (n - 1) 个相似度。 (由于 sim(i, j) = sim(j, i)，实际上只有 n * (n - 1)/2 个相似点，但矩阵将每个相似点列出了两次。)如果有 300336 个项目，结果矩阵将包含 90 个亿条目。我相信这大约有 720 G 的空间。

(b) 如果这些条目中的大多数为 0，则稀疏矩阵将节省空间。但相似度分数通常并非如此。例如，Cosine(i,j) 将为 0，仅对于具有 0 个共同单词的项目对而言。