machine-learning - 使用 tf-idf 进行情感分析任务等分类任务是否正确？

Question

我经常看到人们在情感分析等文本分类任务中使用 tf-idf 向量化。根据我的理解，它会惩罚出现在大量文档中的单词的分数。(逆文档频率)我们通常会忽略 df 超过 0.5 的单词。

但是，假设我正在进行情感分析，并且我有一个单词在每个 +ve 评论的文档中出现，而在带有 -ve 评论的文档中出现零次或很少。因此，该词对于我的分类器来说是一个很好的指标，并且高文档频率明确指向特定类别。因此，在我看来，使用惩罚高文档频率是违反直觉的。

那么使用 tf-idf 矩阵进行文本分类任务是个好主意吗？

Answer 1

tf-idf向量只是向量化器的一种。您可以自由地尝试其他许多方法。上述场景是可能的，但您会发现机器学习更多的是关于真实数据集而不是理论保证。

实际上 tf-idf 工作得很好，但它与计数向量化器并没有根本不同。还有近十几种不同的方法专门对 tf 和 idf 分量进行加权，以增加某些单词分布的稳健性，例如您上面提出的那些分布。

在机器学习中，您不应该考虑“好”或“坏”的想法，您应该进行实验并确定对模型性能的影响。