machine-learning - ResNet架构中如何计算梯度？

Question

我假设每层的梯度都是 0.1。图层的绘制/堆栈网络的梯度可以通过累积梯度来计算:

在ResNet中，梯度是通过跳跃连接来传播的。那么，如何才能实现如上图所示的x的渐变效果呢？是0.1x0.1+0.1还是0.1？

Answer 1

上图中添加了梯度计算。梯度delta_x是传入梯度delta_y的总和以及梯度delta_y和delta_F的乘积。

所以在你的例子中，它应该是0.1x0.1x0.1+0.1。

但请注意，在 delta_F 的实际计算中，delta_y 乘以 weight_1 并获得通过/阻止 code> 取决于 ReLu 是否处于事件状态，然后乘以 weights_2。