neural-network - 如何在torch中编写updateGradInput和accGradParameters？

Question

我知道这两个函数是用于torch的反向传播，界面如下
updateGradInput(input, gradOutput)
accGradParameters(input, gradOutput, scale)
我对 gradInput 的内容感到困惑。和 gradOutput真正的意思是在一层。
假设网络的成本是C和一层 L .做gradInput和 gradOutput层数L意思是 d_C/d_input_L和 d_C/d_output_L ?

如果是，如何计算gradInput根据 gradOutput ?

此外，accGradParameters积累的意思d_C/d_Weight_L和 d_C/d_bias_L ?如果是这样，如何计算这些值？

Answer 1

Do gradInput and gradOutput of layer L mean d_C/d_input_L and d_C/d_output_L

是的:

gradInput = 成本 w.r.t 层输入的导数，

gradOutput = 成本 w.r.t 层输出的导数。

how to compute gradInput according to gradOutput

从 The building blocks of Deep Learning 调整架构( 警告 :在此模式中，成本表示为 L = Loss 和层 f )我们有:



有关在 LogSoftMax 层上进行此类计算的具体分步示例，您可以引用 this answer。 .

does accGradParameters mean to accumulate d_C/d_Weight_L and d_C/d_bias_L

是的。已命名 gradWeight和 gradBias在火炬/nn。

how to compute these values?

同上。仍然使用上述博客文章中的公式:



除了雅可比具有不同的维度(有关更多详细信息，请参阅博客文章)。例如，对于线性层，这转化为:



这是层的输入和 gradOutput 之间的外积。 .在火炬 we have :

self.gradWeight:addr(scale, gradOutput, input)

和:



这是 gradOutput .在火炬 we have :

self.gradBias:add(scale, gradOutput)

在这两种情况下 scale是在实践中用作学习率的比例因子。