machine-learning - 如何使用配对 T 检验比较 Weka 中的两个分类器

Question

在 Weka 中我可以去找实验者。在设置中，我可以加载 .arff 文件，并让 weka 创建一个分类器(即 J48)，然后我可以运行它，最后我可以转到分析选项卡。在此选项卡中，它为我提供了“使用配对 T 测试进行测试”的选项，但我无法弄清楚如何创建第二个分类器(即未修剪的 J48)并对两个结果进行 T 测试。

Google 没有引导我找到任何教程或答案。

如何让 Weka 对使用相同数据得出的两个不同分类器的结果进行 T 检验？

Answer 1

请按照 http://fiji.sc/Advanced_Weka_Segmentation_-_How_to_compare_classifiers 中的步骤操作.

在此screenshot ，作者将显着性水平设置为0.05。根据我的理解，在这样的测试中，你总是与基线分类器(这里是 NaiveBayes)进行比较，输出使用注释 v 或 * 来指示特定结果在统计上优于(v)或更差(*)指定显着性水平的基线方案(当前为 0.05)。但它可能不是您所期望的。