python - NumPy 还是字典？

Question

我必须处理大型数据集。我需要存储每个句子的词频；我可以使用字典列表或使用 NumPy 数组来完成。

但是，我将不得不排序和追加(以防单词已经存在)- 在这种情况下哪个更好？

Answer 1

您描述的问题的解决方案是 scipy's sparse matrix .

一个小例子:

from scipy.sparse import csr_matrix
docs = [["hello", "world", "hello"], ["goodbye", "cruel", "world"]]
indptr = [0]
indices = []
data = []
vocabulary = {}
for d in docs:
    for term in d:
        index = vocabulary.setdefault(term, len(vocabulary))
        indices.append(index)
        data.append(1)
    indptr.append(len(indices))

print csr_matrix((data, indices, indptr), dtype=int).toarray()

每个句子是行，每个术语是一列。

另一个提示 - 查看 CountVectorizer :

from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer(min_df=2)
corpus = [
    'This is the first document.',
    'This is the second second document.',
    'And the third one.',
    'Is this the first document?',
]
vectorizer = vectorizer.fit(corpus)
print vectorizer.vocabulary_ 
#prints {u'this': 4, u'is': 2, u'the': 3, u'document': 0, u'first': 1}
X = vectorizer.transform(corpus)
    
print X.toarray()
#prints
 [[1 1 1 1 1]
 [1 0 1 1 1]
 [0 0 0 1 0]
 [1 1 1 1 1]]

现在 X 是您的文档术语矩阵(注意 X 是 csr_matrix)。您也可以使用 TfidfTransformer如果你想 tf-idf 它。