machine-learning - 交叉验证和网格搜索有什么区别？

Question

简单来说，交叉验证和网格搜索有什么区别？网格搜索如何工作？我应该先进行交叉验证，然后进行网格搜索吗？

Answer 1

交叉验证是指您保留部分数据用于评估模型。有不同的交叉验证方法。最简单的概念是只取 70%(这里只是编一个数字，不一定非得是 70%)的数据用于训练，然后使用剩余的 30% 的数据来评估模型的性能表现。需要不同的数据来训练和评估模型的原因是为了防止过度拟合。当然，还有其他(稍微复杂一些)交叉验证技术，例如实践中经常使用的 k 折交叉验证。

网格搜索是一种执行超参数优化的方法，也就是说，它是一种寻找超参数最佳组合的方法(超参数的一个例子是优化器的学习率)，对于给定模型(例如 CNN)和测试数据集。在这种情况下，您有多个模型，每个模型都有不同的超参数组合。这些参数组合中的每一个都对应于单个模型，可以说位于“网格”的一个点上。然后的目标是训练每个模型并评估它们，例如使用交叉验证。然后，您选择表现最好的一个。

举一个具体的例子，如果您使用支持向量机，则可以对 gamma 使用不同的值和C 。因此，例如，您可以拥有一个包含以下值 (gamma, C) 的网格。 :(1, 1), (0.1, 1), (1, 10), (0.1, 10) 。它是一个网格，因为它就像 [1, 0.1] 的乘积。对于 gamma和[1, 10]对于 C 。网格搜索基本上会为这四对(gamma, C)中的每一对训练一个SVM。值，然后使用交叉验证对其进行评估，并选择效果最好的一个。