artificial-intelligence - 在反向传播中使用 sigmoid 函数计算误差

Question

我有一个关于反向传播的快速问题。我正在查看以下内容:

http://www4.rgu.ac.uk/files/chapter3%20-%20bp.pdf

在这篇论文中，它说计算神经元的误差为

Error = Output(i) * (1 - Output(i)) * (Target(i) - Output(i))

我把公式中我不明白的部分用粗体表示。在论文中，它说 输出(i) * (1 - 输出(i)) 由于 sigmoid 函数，需要 term - 但我仍然不明白为什么这会很必要。

使用会有什么问题

Error = abs(Output(i) - Target(i))

?

误差函数是否与神经元激活/传递函数无关？

Answer 1

您需要这样做的原因是您正在计算 误差函数的导数 关于神经元的输入。

当你通过链式法则求导数时，你需要乘以神经元激活函数的导数(恰好是一个 sigmoid)

这是重要的数学。

通过链式法则计算神经元输入误差的导数:

E = -(target - output)^2

dE/dinput = dE/doutput * doutput/dinput

计算 doutput/dinput:

output = sigmoid (input)

doutput/dinput = output * (1 - output)    (derivative of sigmoid function)

所以:

dE/dinput = 2 * (target - output) * output * (1 - output)