machine-learning - 神经网络不收敛时要尝试的事情

Question

有关神经网络的最常见问题之一似乎是:

救命!!我的神经网络没有收敛!!

参见here , here , here , here和 here .

那么在消除网络实现中的任何错误之后，我们应该尝试哪些最常见的事情？

我知道根据网络架构的不同，要尝试的事情会有很大差异。但是，通过调整哪些参数(学习率、动量、初始权重等)并实现哪些新功能(窗口动量？)，您能够在构建自己的神经网络时克服一些类似的问题吗？

如果可能，请给出与语言无关的答案。这个问题旨在为那些陷入不收敛神经网络困境的人们提供一些指导。

Answer 1

如果您使用 ReLU 激活，您可能有 "dying ReLU"问题。简而言之，在某些条件下，任何具有 ReLU 激活的神经元都可能受到(偏差)调整，导致其永远不会再次被激活。它可以通过“Leaky ReLU”激活来修复，该文章对此进行了详细解释。

例如，我制作了一个带有 ReLU 输出的简单 MLP(3 层)网络，但失败了。我提供了它不可能失败的数据，但它仍然失败了。我把学习率调低了，它失败得更慢。它总是收敛于以相等的概率预测每个类别。这一切都是通过使用 Leaky ReLU 而不是标准 ReLU 来解决的。