machine-learning - 隐藏层多有什么问题？

Question

如果我们在神经网络中使用太多的隐藏层会有什么问题吗？谁能简单描述一下如果隐藏层太多会出现什么问题。

Answer 1

最重要的问题是所谓的“梯度消失现象”，很容易验证(无论是理论上还是实践上)，不可能有效地训练多个隐藏层(假设传统的反向传播，没有深度学习/神经认知机/卷积网络)，因为计算的梯度/导数越来越平滑。每增加一层，错误的“责任”就会消失。

过度拟合(正如@Floris错误地表述的那样)不是这里的主要问题，因为同样的问题会来自隐藏单元的数量(事实上它会发生与增加隐藏层数量相比，更常见的是增加一个隐藏层中的单元数量。