machine-learning - 网格搜索方法对神经网络有值(value)吗？

Question

我已成功尝试应用 GridSearch 方法来查找 SVM 的最佳参数，现在我想将其应用于神经网络 (MLPClassifier) 以查找最佳架构(即层数)和神经元/层)，最佳激活函数，...

但是，我想知道这是否会导致计算成本过高？此外，我应该如何定义层数和神经元数的“网格”？这已经经过测试了吗？谢谢

Answer 1

是的，许多层和神经元被认为是超参数的一部分。

在我看来，网格搜索并不是神经网络的最佳选择，因为 curse of dimensionality 。人们通常认为简单random search ，特别是在发展的早期阶段。它之所以有效，是因为通常某些超参数不会对损失函数产生太大影响，因此穷举搜索所有可能的组合是没有意义的。

所以，我建议使用以下循环:

1. 确定一组合理的超参数值(下限/上限、步长)
2. 开始对不同组合进行随机抽样
3. 一段时间后，您将能够(希望)缩小搜索空间
4. 以新界限重复

在某些特殊情况下，您可以使用基于梯度和贝叶斯优化，但这些选项是非常具体的问题。