neural-network - 具有正则化数据的 tanh 错误饱和度的神经网络

Question

我正在使用由 4 个输入神经元、1 个由 20 个神经元组成的隐藏层和一个由 7 个神经元输出层组成的神经网络。

我正在尝试为 bcd 到 7 段算法训练它。我的数据被归一化 0 是 -1，1 是 1。

当输出错误评估发生时，神经元饱和错误。如果所需的输出是 1实际输出是 -1 ，错误是 1-(-1)= 2 .

当我乘以激活函数的导数时 error*(1-output)*(1+output) ，错误变成几乎0因为2*(1-(-1)*(1-1) .

我怎样才能避免这种饱和错误？

Answer 1

激活函数的渐近线饱和是神经网络的常见问题。如果你看一下函数的图表，你就会发现:它们几乎是平坦的，这意味着一阶导数(几乎)为 0。网络无法再学习。

一个简单的解决方案是缩放激活函数来避免这个问题。比如用tanh()激活函数(我最喜欢的)，当想要的输出在{-1, 1}时，推荐使用下面的激活函数:

f(x) = 1.7159 * tanh( 2/3 * x)  

因此，导数是

f'(x) = 1.14393 * (1- tanh( 2/3 * x))  

这将迫使梯度进入最非线性的值范围并加速学习。对于所有细节，我建议阅读 Yann LeCun 的伟大论文 Efficient Back-Prop .
在 tanh() 激活函数的情况下，误差将计算为

error = 2/3 * (1.7159 - output^2) * (teacher - output)