neural-network - 反向传播中的 ReLU 导数

Question

我要在使用 ReLU 的神经网络上进行反向传播。
在我之前的一个项目中，我在一个使用 Sigmoid 激活函数的网络上做了，但现在我有点困惑，因为 ReLU 没有导数。

这是一个 image关于 weight5 对总误差的贡献。
在这个例子中， out/net = a*(1 - a) 如果我使用 sigmoid 函数。

我应该写什么而不是“a*(1 - a)”来使反向传播工作？

Answer 1

since ReLU doesn't have a derivative.

不，ReLU 有导数。我假设您正在使用 ReLU 函数 f(x)=max(0,x) .这意味着如果 x<=0然后 f(x)=0 , 否则 f(x)=x .在第一种情况下，当 x<0所以 f(x) 对 x 的导数给出结果 f'(x)=0 .在第二种情况下，很明显计算 f'(x)=1 .