machine-learning - 如何加速前馈、基于梯度的反向传播神经网络的学习

Question

我使用 tanh 作为激活函数。让我们以一个问题为例。

XOR Problem:

1   1   0
0   1   1
1   0   1
0   0   0

当我训练我的神经网络 500 轮时，结果如下所示:

1   1   0.001015
0   1   0.955920
1   0   0.956590
0   0   0.001293

又过了 500 个纪元后:

1   1   0.000428
0   1   0.971866
1   0   0.971468
0   0   0.000525

另一个 500 纪元:

1   1   0.000193
0   1   0.980982
1   0   0.981241
0   0   0.000227

学习速度似乎慢了很多。我的神经网络需要很长时间才能足够精确地解决我的成本问题。

在学习变得如此缓慢之后，有什么办法可以加快学习速度吗？

谢谢

Answer 1

这种学习曲线在神经网络训练中是完全正常的(甚至在 real life learning 中)。也就是说，虽然曲线的总体形状是典型的，但我们可以改进其陡度。在这方面，我建议您实现 momentum进入你的训练算法。如果这似乎还不够，您的下一步将是实现一些自适应学习率算法，例如 adadelta, adagrad or rmsprop 。最后，您可能想尝试的最后一件事是 batch normalization .