machine-learning - 支持向量机的RBF核

Question

非线性核允许支持向量机在高维空间中线性分离非线性数据。 RBF 核可能是最流行的非线性核。

有人告诉我 RBF 核是高斯核，因此是无限微分的。利用这个特性，RBF核可以将数据从低维空间映射到无限维空间。我有两个问题:

1)谁能解释一下为什么映射后的特征空间的数量对应于内核的导数？我对这部分不清楚。2)非线性核有很多，比如多项式核，我相信它们也能够将数据从低维空间映射到无限维空间。但为什么 RBF 内核比它们更流行呢？

感谢您提前提供的帮助。

Answer 1

1) Could anyone explain why the number of feature space after mapping is corresponding to the derivatives of the kernel? I am not clear on this part.

它与可微分无关，线性内核也是无限可微的，并且不会映射到任何更高维度的空间，无论谁告诉你这是原因 - 撒谎或不理解其背后的数学。无限维度来自映射

phi(x) = Nor(x, sigma^2)

换句话说，您将点映射到作为高斯分布的函数，它是 L^2 空间的元素，连续函数的无限维空间，其中标量积被定义为积分函数的乘法，所以

<f,g> = int f(a)g(a) da

因此

<phi(x),phi(y)> = int Nor(x,sigma^2)(a)Nor(y,sigma^2)(a) da 
                = X exp(-(x-y)^2 / (4sigma^2) )

对于一些归一化常数X (这完全不重要)。换句话说，高斯核是两个具有无限维数的函数之间的标量积。

2) There are many non-linear kernels, such as polynomial kernel, and I believe they are also able to map the data from a low dimensional space to an infinite dimensional space. But why the RBF kernel is more popular then them?

多项式核映射到特征空间O(d^p)尺寸，其中d是输入空间维度，p是多项式次数，因此远非无限。为什么高斯流行？因为它有效，并且非常易于使用且计算速度快。从理论角度来看，它还可以保证学习任意一组点(使用足够小的方差)。