python - 分析python中libsvm的预测模型

Question

关于在python中使用libsvm的两个问题:

1. 我如何知道问题是否可行？
2. 如何获取原始变量(w 和偏移量 b)？

我使用一个简单的示例，考虑 2D 空间中的 4 个训练点(用 * 表示):

*----*
|    |
|    |
*----*

我使用 C_SVC 公式和线性内核训练 SVM，将 4 个点分类为两个标签 [-1, +1]。

例如，当我这样设置训练点时，它应该找到一个分离的超平面。

{-1}----{+1}
 |       |
 |       |
{-1}----{+1}

但是对于这个非线性问题，它应该无法找到分离超平面(因为线性内核)。

{+1}----{-1}
 |       |
 |       |
{-1}----{+1}

我希望能够检测到这种情况。

<小时/>

第二个示例的示例代码:

from svmutil import *
import numpy as np

y = [1, -1, 1, -1]
x = [{1:-1, 2 :1}, {1:-1, 2:-1}, {1:1, 2:-1}, {1:1, 2:1}]

prob  = svm_problem(y, x)
param = svm_parameter()
param.kernel_type = LINEAR
param.C = 10

m = svm_train(prob, param)

示例输出:

optimization finished, #iter = 21
nu = 1.000000
obj = -40.000000, rho = 0.000000
nSV = 4, nBSV = 4
Total nSV = 4

Answer 1

对 C 的指数网格运行交叉验证，如 libsvm guide 中所述。在线性核 SVM 上。如果训练集准确率永远无法接近 100%，则意味着线性模型对于数据偏差太大，这又意味着线性假设是错误的(数据不是线性可分的)。

顺便说一句。 测试集准确率是对模型泛化能力的真实评价，但它衡量的是 偏差和方差之和，因此不能直接用于仅衡量偏差。训练集和测试集精度之间的差异衡量模型的方差或过度拟合。有关错误分析的更多信息可以在这个 blog post中找到。总结 ml-class 中的实用提示和技巧在线类(class)。