algorithm - 线性问题和非线性问题的区别？点积和内核技巧的本质

Question

内核技巧将非线性问题映射为线性问题。

我的问题是:
1. 线性问题和非线性问题的主要区别是什么？这两类问题的区别背后的直觉是什么？内核技巧如何帮助在非线性问题上使用线性分类器？
2. 为什么点积在这两种情况下如此重要？

谢谢。

Answer 1

当人们说到分类问题的线性问题时，他们通常指的是线性可分问题。 线性可分 是指存在某种函数可以将输入变量的线性组合的两个类分开。例如，如果您有两个输入变量，x1 和 x2，则有一些数字 theta1 和 theta2 这样函数 theta1.x1 + theta2.x2 足以预测输出。在二维中，这对应于一条直线，在 3D 中，它变成一个平面，在更高维空间中，它变成一个超平面。

通过思考 2D/3D 中的点和线，您可以获得对这些概念的某种直觉。这是一对非常人为的例子......

这是线性不可分问题的图。没有直线可以将红点和蓝点分开。

但是，如果我们给每个点一个额外的坐标(特别是 1 - sqrt(x*x + y*y)... 我告诉过你这是人为的)，那么问题就变成线性的可分离，因为红点和蓝点可以被通过 z=0 的二维平面分开。

希望这些示例能够展示内核技巧背后的部分想法:

将问题映射到具有更多维数的空间使得问题更有可能变得线性可分。

内核技巧背后的第二个想法(以及它如此棘手的原因)是，在非常高维的空间中工作通常非常笨拙且计算量大。但是，如果算法仅使用点之间的点积(您可以将其视为距离)，则只需使用标量矩阵即可。您可以隐式地在高维空间中执行计算，而无需实际进行映射或处理高维数据。