machine-learning - 如何通过交叉验证在 svmlight 中获得训练准确性

Question

我想使用 SVMlight 对我的训练集运行交叉验证。似乎这个选项是 -x 1 (尽管我不确定它实现了多少折叠......)。输出为:

XiAlpha-estimate of the error: error<=31.76% (rho=1.00,depth=0)
XiAlpha-estimate of the recall: recall=>68.24% (rho=1.00,depth=0)
XiAlpha-estimate of the precision: precision=>69.02% (rho=1.00,depth=0)
Number of kernel evaluations: 56733
Computing leave-one-out **lots of gibberish here**
Retrain on full problem..............done.
Leave-one-out estimate of the error: error=12.46%
Leave-one-out estimate of the recall: recall=86.39%
Leave-one-out estimate of the precision: precision=88.82%
Actual leave-one-outs computed:  412 (rho=1.00)
Runtime for leave-one-out in cpu-seconds: 0.84

如何获得准确率？来自误差估计？

谢谢!

Answer 1

这些是相互矛盾的概念。训练误差是训练集上的误差，而交叉验证用于近似验证误差(在未用于训练的数据上) .

您的输出表明您正在使用 N 倍(其中训练集的 N 大小)，这会导致所谓的“留一”验证(只有 1 个测试点!)，这高估了模型的质量。您应该尝试 10 倍，而您的准确度仅为 1 错误。