pytorch - Pytorch 中的截断反向传播(BPTT)

Question

在 pytorch 中，我通过使用以下命令启动反向传播(通过时间)来训练 RNN/GRU/LSTM 网络:

loss.backward()

当序列很长时，我想做一个 截断 Backpropagation Through Time 而不是使用整个序列的正常 Backpropagation Through Time。

但是我在 Pytorch API 中找不到任何参数或函数来设置截断的 BPTT。我错过了吗？我应该在 Pytorch 中自己编码吗？

Answer 1

下面是一个例子:

for t in range(T):
   y = lstm(y)
   if T-t == k:
      out.detach()
out.backward()

所以在这个例子中， k是用于控制要展开的时间步长的参数。