python - 如何在 scikit-learn 中使用 tf idf 计算函数？

Question

我想使用 TfidfVectorizer 和来自 scikit-learn 的相关函数来执行文档分类，但我对它的使用有点困惑(我搜索过的其他问题都没有处理正确的数据格式)。

目前，我的训练数据按以下方式组织:

1. 从语料库中获取单个文本。
2. 规范化、标记化(使用 nltk PunktWordTokenizer)、词干(使用 nltk SnowballStemmer)
3. 过滤掉剩下的短词和低频词
4. 标注相应的文字

完成上述操作后，单个文本如下所示(此处的值是随机的，但对应于每个术语出现的次数/次数):

text = ({"has": 5.0, "love": 12.0, ...}, "Relationships")

而完整的语料库最后看起来像这样:

corpus = [({"has": 5.0, "love": 12.0, ...}, "Relationships"),
          ({"game": 9, "play": 9.0, ...}, "Games"),
          ...,
         ]

我如何将这些数据输入 TfidfVectorizer()？我是否必须像上面那样只提供内容(作为字典？作为列表？)，还是只提供没有计数的内容？我什么时候提供标签？如果需要，我不介意完全重构我的数据。

遗憾的是，关于此特定功能的文档中关于格式化的示例有点稀疏。

Answer 1

这就是您将如何使用 TfidfVectorizer(look here 了解更多详情)

>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> corpus = ['This is the first document.',
              'This is the second second document.',
              'And the third one.',
              'Is this the first document?']
>>> vect = TfidfVectorizer()
>>> X = vect.fit_transform(corpus)
>>> X.todense()

matrix([[ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674],
        [ 0.        ,  0.27230147,  0.        ,  0.27230147,  0.        ,
          0.85322574,  0.22262429,  0.        ,  0.27230147],
        [ 0.55280532,  0.        ,  0.        ,  0.        ,  0.55280532,
          0.        ,  0.28847675,  0.55280532,  0.        ],
        [ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674]])

这是文本语料库的数字表示。现在要拟合一个将文档映射到标签的模型，首先将它们放入目标变量中，标签的长度应与语料库中的文档数量相匹配:

>>> y = ['Relationships', 'Games', ...]

现在你可以拟合任何模型，例如:

>>> from sklearn.linear_model import SGDClassifier
>>> model = SGDClassifier()
>>> model.fit(X, y)

现在您有了一个可以根据新数据进行评估的拟合模型。预测对新的语料库或文本重复相同的过程。请注意，我使用的是与之前相同的矢量化器 vect:

X_pred = vect.transform(['My new document'])
y_pred = model.predict(X_pred)

如果您想使用自定义分词器，请使用:

vect = TfidfVectorizer(tokenizer=your_custom_tokenizer_function)