algorithm - sigmoid 的导数

Question

我正在创建一个使用反向传播技术进行学习的神经网络。

我知道我们需要找到所用激活函数的导数。我正在使用标准的 sigmoid 函数

f(x) = 1 / (1 + e^(-x))

我已经看到它的导数是

dy/dx = f(x)' = f(x) * (1 - f(x))

这可能是个愚蠢的问题，但这是否意味着我们必须在方程式中将 x 通过 sigmoid 函数两次，所以它会展开为

dy/dx = f(x)' = 1 / (1 + e^(-x)) * (1 - (1 / (1 + e^(-x))))

或者仅仅是获取已经计算出的 f(x) 输出，即神经元的输出，并将该值替换为 f(x)?

Answer 1

Dougal 是正确的。就这样

f = 1/(1+exp(-x))
df = f * (1 - f)