kernel - 通过径向基函数 (RBF) SVM 进行分类

Question

我正在使用 sklearn.svm.SVC (kernel='rbf') 对图像数据进行分类，效果很好。线性 SVM 通过在两个类之间放置一个超平面来对数据进行分类。在 rbf SVM 的情况下，平面将是无限维的。对于任何测试点，我们可以使用 predict 来检查它属于哪个测试点。在线性情况下，我们可以通过获取超平面的方程来手动获得预测。我们如何在 rbf SVM 案例中做到这一点。在 rbf SVM 案例中，predict 究竟是如何工作的。

Answer 1

第一件事

每当我们进行分类时，我们都应该考虑:

• 可以为高维特征空间学习分类器，无需实际上必须将点映射到高维空间。
• 数据在高维空间中可能是线性可分的，但在原始特征空间中不是线性可分的
• 由于对偶形式的标量积，内核可以用于 SVM，但也可以在其他地方使用 - 它们不依赖于 SVM 形式。
• 内核也适用于不是向量的对象

例如我会放一些用过的内核。

对于具有高斯内核的 SVM 分类器，我们将有如下内容:

如您所见，支持向量已被替换，因此我们可以根据结果对其进行更改，例如，考虑两个特征及其彩色点:

设置一些我们得到的值:

现在

或者

现在当无限发挥作用时会发生什么:

然后:

那么 adaBoost 如何处理数据集 http://cseweb.ucsd.edu/~yfreund/adaboost/

如果您愿意，可以测试 Ian Nabney 的 NETLAB ML Matlab 软件 here

这里有更多 SVM 来源

• Christopher M. Bishop，“模式识别和机器学习”，Springer (2006)，ISBN 0-38-731073-8。
• Hastie, Tibshirani, Friedman，“统计学习要素”，第二版，Springer，2009 年。在线提供 PDF。
• Ian H. Witten 和 Eibe Frank，“数据挖掘:实用机器学习工具和技术”，第二版，2005 年。
• David MacKay，“信息理论、推理和学习算法”，可在线免费获取!
• Tom Mitchell，“机器学习”，McGraw Hill，1997 年