machine-learning - SVM - 数据的属性是否可以指示最佳参数(例如 C、gamma)

Question

使用交叉验证来确定最佳参数似乎相当标准。当然，这通常是一个耗时的过程。有什么捷径吗？是否有其他更快的探索性分析形式可以提供关于哪些值最好的提示？

例如，根据我目前对机器学习和 SVM 的理解，我可能会做一些事情，比如在 C 的指数为 10 的 [10e-5, 10e5] 范围内执行初始网格搜索，然后从那里进行微调。但有没有一种方法可以让我快速估计出最佳 C 位于 10e3 和 10e5 之间，然后执行更具体的搜索？

这个问题可能适用于大多数机器学习技术，但我现在恰好正在使用 SVM。

Answer 1

是的，这是一个活跃的研究领域!除了我们都知道并且(也许？)喜欢的标准网格搜索之外，在超参数调整的不同方法方面也做了很多工作。

与您所描述的最相似的领域是解决该问题的各种贝叶斯/高斯过程方法。这个 github 存储库有一个实现和一些有关其工作原理的信息图片 https://github.com/fmfn/BayesianOptimization 。这种方法的工作原理是将参数优化问题视为另一个机器学习问题，其中每个超参数都有特征，并尝试预测各种参数组合的性能。

这是该过程的高级描述，您可以阅读存储库中链接的论文/笔记本以获取更多详细信息。