algorithm - 非线性 SVM 的原始权重

Question

我正在试验不同种类的非线性内核，并试图解释学习到的模型，这让我想到了以下问题:是否有一种通用方法来获取类似非线性支持向量机的原始权重这对于线性 SVM 是如何实现的(参见 related question)？

假设，您具有三个特征 a、b、c 和生成的全子集/多项式内核模型。有没有办法提取这些子集的原始权重，例如 a * b 和 a^2？

---

我已经尝试扩展线性内核的方法，您可以在其中为以下样本生成输出:

 a, b, c
[0, 0, 0]
[1, 0, 0]
[0, 1, 0]
[0, 0, 1]

如果我对全子集内核使用相同的方法，我可以生成更多样本:

 a, b, c
[1, 1, 0]
[1, 0, 1]
...

接下来，为了计算 a * b 的原始权重，我按如下方式分析预测:[1, 1, 0] - ([1, 0, 0] + [ 0, 1, 0] + [0, 0, 0])。

我看到的问题是它需要大量的样本，没有解决 a^2 之类的子集，也没有推广到其他非线性内核。

Answer 1

没有。我并不声称自己是这方面的最终专家，但我已经对 SVM 进行了大量阅读和研究，我认为你所说的是不可能的。当然，在二阶多项式内核的情况下，如果属性的数量非常少，您可以枚举由内核导出的特征空间。对于更高阶的多项式内核和更多的属性，这很快就会变得棘手。

非线性 SVM 的强大之处在于它能够在无需在该空间中进行计算的情况下归纳出特征空间，实际上无需真正了解该特征空间是什么。有些内核甚至可以引入无限维的特征空间。

如果您回顾一下您的问题，您会发现部分问题 - 您正在寻找原始权重。但是，内核是以对偶 形式引入的，其中数据显示为点积。从数学上逆转这个过程将涉及将核函数分开——知道从输入空间到特征空间的映射函数。内核函数的强大正是因为我们不需要知道这个映射。当然对于线性核也可以，因为没有使用映射函数。