machine-learning - 神经网络如何克服偏差/方差困境？

Question

深度学习被视为 rebranding of Neural Networks .

论文 "Neural Networks and the Bias/Variance Dilemma" by Stuart Geman 中提出的问题是否存在？在当今使用的架构中曾经得到解决吗？

Answer 1

我们学到了很多关于神经网络的知识，特别是:

• 由于无监督/自回归学习的进步，我们现在可以学习更好的表示，例如受限玻尔兹曼机、自动编码器、去噪自动编码器、变分自动编码器，它们有助于稳定过程，从合理的表示中学习
• 我们有更好的先验 - 不一定是严格的概率意义上的，但我们知道，例如在图像处理中，一个好的架构是卷积架构，因此我们有一个更小的(就参数而言)，但更适合问题——模型。因此，我们不太容易过度拟合。
• 我们拥有更好的优化技术和激活函数 - 这有助于我们解决欠拟合问题(我们可以学习更大的网络)，特别是 - 我们可以学习更深的网络。为什么深往往比宽更好？因为这又是另一个先验，即表示应该是分层的假设，并且它对于许多现代问题(即使不是全部)似乎都是有效的先验。
• dropout 和其他技术带来了更好的正则化方法(比之前已知和使用的简单权重先验) - 这再次限制了过度拟合(方差)的问题。

还有很多事情发生了变化，但总的来说 - 我们只是能够找到更好的架构、更好的假设，因此我们现在在更狭窄的假设类别中进行搜索。因此，我们过拟合较少(方差)，欠拟合较少(偏差)，但仍有很多工作要做!

正如@david 指出的那样，接下来的事情是数据量。我们现在拥有庞大的数据集，我们通常可以访问更多可以在合理时间内处理的数据，显然更多的数据意味着更少的方差 - 即使高度过度拟合的模型也开始表现良好。

最后但并非最不重要的一点 - 硬件。这是每一位深度学习专家都会告诉你的——我们的计算机变得更强了。我们仍然使用相同的算法、相同的架构(有许多小的调整，但核心是相同的)，但我们的硬件速度呈指数级增长，并且这发生了很多。