artificial-intelligence - 支持向量机和神经网络

Question

SVM 和神经网络有什么区别？线性 svm 是否真的与 NN 相同，而对于非线性可分离问题，NN 使用添加隐藏层而 SVM 使用改变空间维度？

Answer 1

这个问题有两个部分。第一部分是“这些方法学习到的函数的形式是什么？”对于 NN 和 SVM，这通常是相同的。例如，单隐藏层神经网络使用与 SVM 完全相同的模型形式。即:

给定输入向量 x，输出为:输出(x) = sum_over_all_i 权重_i * 非线性函数_i(x)

通常非线性函数也会有一些参数。所以这些方法需要学习应该使用多少个非线性函数，它们的参数是什么，以及所有weight_i权重的值应该是多少。

因此，SVM 和 NN 之间的区别在于它们如何决定这些参数应设置为什么。通常，当有人说他们正在使用神经网络时，他们的意思是他们正在尝试找到能够最小化一组训练样本的均方预测误差的参数。他们也几乎总是使用 stochastic gradient descent优化算法来做到这一点。另一方面，支持向量机试图最小化训练误差和某种“假设复杂性”的度量。因此他们会找到一组适合数据但在某种意义上也是“简单”的参数。你可以把它想象成机器学习的奥卡姆 Razor 。 SVM 最常见的优化算法是 sequential minimal optimization .

这两种方法之间的另一个大区别是，当以 NN 实现方式使用随机梯度下降时，不能保证找到最佳参数集。然而，任何合适的 SVM 实现都会找到最佳的参数集。人们喜欢说神经网络会陷入局部极小值，而支持向量机则不会。