kernel - 设计支持向量机 (XOR) 的内核

Question

我的问题的核心是“如何为学习问题设计核函数？”

作为一个快速的背景知识，我正在阅读有关支持向量机和核机的书籍，我所看到的所有作者都给出了核的示例(同质和非齐次的多项式核、高斯核以及对基于文本的核的暗示)一些)，但所有这些要么提供结果图片而不指定内核，要么含糊地声称“可以构建高效的内核”。我对为新问题设计内核时所发生的过程感兴趣。

最简单的例子可能是学习 XOR，这是嵌入真实平面的最小(4 点)非线性数据集。如何想出一个自然的(并且不平凡的)内核来线性分离这些数据？

作为一个更复杂的示例(参见 Cristianini，SVM 简介，图 6.2)，如何设计一个内核来学习棋盘模式？ Cristianini 表示该图片是“使用高斯核”得出的，但他似乎使用了多个核，并且它们以未指定的方式组合和修改。

如果这个问题太宽泛，无法在这里回答，我希望能引用一个这样的内核函数的构造，尽管我希望示例稍微简单一些。

Answer 1

Q: "How does one design a kernel function for a learning problem?"

A: "Very carefully"

对于那些试图获得最准确预测模型的人来说，尝试常见的方法(线性、多项式、RBF)并使用效果最好的方法确实是合理的建议。无论如何，对支持向量机的一个常见批评是，它们似乎有很多参数需要根据经验进行调整。所以至少你并不孤单。

如果您确实想为特定问题设计内核，那么您是对的，这本身就是一个机器学习问题。这被称为“模型选择问题”。我自己并不完全是这里的专家，但对我来说深入了解内核方法的最佳来源是这本书“Gaussian Processes” ” 由 Rasumussen 和 Williams 撰写(可在网上免费获取)，特别是第 4 章和第 5 章。很抱歉，我除了“阅读这本充满数学知识的大书”之外不能说更多，但这是一个复杂的问题，他们确实做了一个解释得很好。