python - 如何使用 tf-idf 对新文档进行分类？

Question

如果我使用 sklearn 中的 TfidfVectorizer 生成特征向量，如下所示:

features = TfidfVectorizer(min_df=0.2, ngram_range=(1,3)).fit_transform(myDocuments)

然后我将如何生成特征向量来对新文档进行分类？由于您无法计算单个文档的 tf-idf。

提取特征名称是否是正确的方法:

feature_names = TfidfVectorizer.get_feature_names()

然后根据feature_names统计新文档的词频？

但是这样我就得不到包含单词重要性信息的权重。

Answer 1

您需要保存 TfidfVectorizer 的实例，它会记住用于拟合它的词频和词汇。如果不使用 fit_transform，而是分别使用 fit 和 transform，事情可能会更清楚:

vec = TfidfVectorizer(min_df=0.2, ngram_range=(1,3))
vec.fit(myDocuments)
features = vec.transform(myDocuments)
new_features = fec.transform(myNewDocuments)