machine-learning - 如何动态查找卷积神经网络中的网络深度

Question

我正在寻找一种自动方法来决定我应该根据数据和计算机配置将多少层应用于我的网络。我在网上搜索，但找不到任何东西。也许我的关键字或查找方式是错误的。

你有什么想法吗？

Answer 1

神经网络的层数或深度是其超参数之一。

这意味着它是一个无法从数据中学习的量，但您应该在尝试拟合数据集之前选择它。根据Bengio ,

We define a hyper- parameter for a learning algorithm A as a variable to be set prior to the actual application of A to the data, one that is not directly selected by the learning algo- rithm itself.

可以通过三种主要方法来找出超参数的最佳值。前两个在我链接的论文中得到了很好的解释。

• 手动搜索。研究人员利用众所周知的黑魔法，通过试错来选择最佳值。
• 自动搜索。研究人员依靠自动化程序来加快搜索速度。
• Bayesian optimization .

更具体地说，向深度神经网络添加更多层可能会提高性能(减少泛化误差)，当它过度拟合训练数据时，最高可达一定数量。

因此，在实践中，您应该用 4 层来训练您的 ConvNet，尝试添加一个隐藏层并再次训练，直到看到一些过度拟合。当然，需要一些强大的正则化技术(例如dropout)。