python - 大型数据集的 TFIDF

Question

我有一个包含大约 800 万篇新闻文章的语料库，我需要将它们的 TFIDF 表示为稀疏矩阵。对于相对较少数量的样本，我已经能够使用 scikit-learn 做到这一点，但我相信它不能用于如此庞大的数据集，因为它首先将输入矩阵加载到内存中，这是一个昂贵的过程。

有谁知道，为大型数据集提取 TFIDF 向量的最佳方法是什么？

Answer 1

Gensim 有一个高效的 tf-idf model并且不需要一次将所有内容都保存在内存中。

您的语料库只需要是一个可迭代的，因此它不需要一次将整个语料库保存在内存中。

make_wiki script根据评论，在笔记本电脑上运行了大约 50m 的维基百科。