classification - TFIDF : tf implementation

Question

我正在实现一个分类工具，并正在试验各种 TF 版本:两个对数(对数调用内部/外部的校正)、归一化、增强和对数平均。显然，由这些调制的分类器精度存在显着差异——高达 5%。然而，奇怪的是，我无法提前说出哪个在给定数据集上表现更好。我想知道是否有一些我遗漏的工作，或者，也许有人可以分享使用这些工作的经验？

Answer 1

确实很难提前判断哪种加权方案最有效。总的来说，有 no free lunch - 对一个数据集最有效的算法可能对另一个数据集来说很糟糕。更重要的是，我们在这里不是在谈论完全不同的选择。 TF-IDF 体现了一种关于分类/检索的特定直觉，它的所有不同变体都有些相同。唯一的判断方法就是实验

PS 关于术语的说明:当您说显着时，您是否通过交叉验证或随机重采样进行过任何统计显着性测试？您看到的差异可能是偶然的。