math - 如何为高斯过程(GP)选择合适的内核？

Question

我知道在GP中，与SVM不同，kernel是衡量一个点与给定点之间的相似度。但是，是否有内核选择的通用指南？或者有没有介绍流行内核(如平方指数内核)特性的资料？

顺便问一下，Lin 博士(LIBSVM 工具箱的作者)解释了为什么 RBF 内核可能是 SVM 的首选，所以有人能告诉我为什么 SE 内核在 GP 中如此流行吗？

Answer 1

我认为您已经触及了人们对高斯过程的一些常见问题。我会尽力回答:

模型选择:模型选择是 GP 的一个重要且重要的方面。通常由用户决定，因为他们往往是特定于应用程序的。这可能是一个问题，因为用户可能不是 GP 内核专家，并且如果我们为数据选择一个糟糕的模型，那么我们不可避免地会得到糟糕的预测性能。但在这方面已经做出了一些尝试。如果您阅读GPML的第5.2章它讨论了贝叶斯模型选择，这应该对您有帮助。

有用的内核:有很多关于内核以及何时使用它们的有用文献。然而，如果您了解一些原始内核并学习如何组合它们的基础知识，您实际上可以生成非常复杂的机器学习系统。 The Kernel Cookbook是帮助您了解这些问题的绝佳资源。作者:大卫·杜维诺。

RBF 与平方指数: 这不必要地让很多人感到困惑 - 它们是同一件事!这个通用内核一直在使用，并且有很多名称。但是，将其称为“平方指数”需要您自担风险，因为这实际上是一个不准确但常用的术语。 Neil Lawrence，众多 GP 大神之一，说我们不应该再将其称为“平方指数”内核，而应该称为“指数二次”内核。