deep-learning - pytorch autograd 是如何工作的？

Question

我将此作为问题提交给 cycleGAN pytorch implementation , 但由于那里没有人回复我，我会在这里再问一次。

我主要对在一次反向传球之前调用多次正向传球这一事实感到困惑，请参阅以下代码 cycle_gan_model

# GAN loss
# D_A(G_A(A))
self.fake_B = self.netG_A.forward(self.real_A)
pred_fake = self.netD_A.forward(self.fake_B)
self.loss_G_A = self.criterionGAN(pred_fake, True)
# D_B(G_B(B))
self.fake_A = self.netG_B.forward(self.real_B)
pred_fake = self.netD_B.forward(self.fake_A)
self.loss_G_B = self.criterionGAN(pred_fake, True)
# Forward cycle loss G_B(G_A(A))
self.rec_A = self.netG_B.forward(self.fake_B)
self.loss_cycle_A = self.criterionCycle(self.rec_A, self.real_A) * lambda_A
# Backward cycle loss G_A(G_B(B))
self.rec_B = self.netG_A.forward(self.fake_A)
self.loss_cycle_B = self.criterionCycle(self.rec_B, self.real_B) * lambda_B
# combined loss
self.loss_G = self.loss_G_A + self.loss_G_B + self.loss_cycle_A + self.loss_cycle_B + self.loss_idt_A + self.loss_idt_B
self.loss_G.backward()

在我看来，G_A 和 G_B 每个都有三个前向传递，两次接受真实数据(real_A 或 real_B)，两次接受假数据(fake_B 或 fake_A)。

在 tensorflow(我认为)中，反向传递总是根据最后的输入数据计算的。在这种情况下，loss_G 的反向传播是错误的。相反，应该进行三次向后传球，每次都紧随其相关的向前传球。

具体来说，netG_A 来自 loss_G_A 的梯度是 w.r.t real_A 但它来自 loss_cycle_B 的梯度是 w.r.t fake_A.

我假设这是在 pytorch 中以某种方式处理的。但是模型如何知道应该计算哪些输入数据的梯度？

Answer 1

Pytorch 使用基于磁带的系统进行自动微分。这意味着它将从它所做的最后一个操作反向传播。我认为最好的理解方式是根据流程制作图表。我附上一张我亲手做的

现在你会看到有些模块是“重复”的。我对它们的看法与我对 RNN 的看法相同；这样，渐变将被添加。