python - 使用Python将字数统计文件转换为稀疏矩阵

Question

我有一系列文件，每个文件都包含字数。每个文件可以有不同的词。这是一个例子:

文件A

word1,20
word2,10
word3,2

文件B:

word1,10
word4,50
word3,5

大约有 20k 个文件，每个文件可能有数万个单词。

我最终想构建一个稀疏矩阵，其中每一行代表一个文件的单词分布，就像您从 scikit's CountVectorizer 中得到的一样.

如果 word1、word2、word3、word4 是列，而 FileA 和 FileB 是行，那么我希望得到:

[[20,10,2,0],[10,0,5,50]]

我怎样才能做到这一点？如果可能的话，我还希望能够只包含出现在至少 N 个文件中的单词。

Answer 1

您可以使用一些词典将单词映射到它们出现的频率，并将文件名映射到这些文件中的单词计数。

files = ["file1", "file2"]
all_words = collections.defaultdict(int)
all_files = collections.defaultdict(dict)

for filename in files:
    with open(filename) as f:
        for line in f:
            word, count = line.split(",")
            all_files[filename][word] = int(count)
            all_words[word] += 1

然后您可以使用嵌套列表理解中的那些来创建稀疏矩阵:

>>> [[all_files[f].get(w, 0) for w in sorted(all_words)] for f in files]
[[20, 10, 2, 0], [10, 0, 5, 50]]

或者按最小字数过滤:

>>> [[all_files[f].get(w, 0) for w in sorted(all_words) if all_words[w] > 1] for f in files]
[[20, 2], [10, 5]]