python - 从字典的子集中有效地填充 SciPy 稀疏矩阵

Question

我需要在几个 14000x10000 矩阵中存储单词共现计数。因为我知道矩阵是稀疏的，而且我没有足够的 RAM 来将它们全部存储为密集矩阵，所以我将它们存储为 scipy.sparse 矩阵。

我发现收集计数的最有效方法是使用 Counter 对象。现在我需要将计数从 Counter 对象转移到稀疏矩阵，但这需要很长时间。目前，填充矩阵大约需要 18 个小时。

我使用的代码大致如下:

for word_ind1 in range(len(wordlist1)):
    for word_ind2 in range(len(wordlist2)):
        word_counts[word_ind2, word_ind1]=word_counters[wordlist1[word_ind1]][wordlist2[word_ind2]]

其中 word_counts 是一个 scipy.sparse.lil_matrix 对象，word_counters 是一个计数器字典，wordlist1 和 wordlist2 是字符串列表。

有什么方法可以更有效地做到这一点？

Answer 1

您正在使用 LIL 矩阵，它(不幸的是)具有线性时间插入算法。因此，以这种方式构建它们需要二次方时间。尝试使用 DOK 矩阵，它们使用哈希表进行存储。

但是，如果您对 bool 术语的出现感兴趣，那么如果您有一个稀疏的术语文档矩阵，则计算共现矩阵会快得多。令A为这样一个形状为(n_documents, n_terms)的矩阵，则共现矩阵为

A.T * A