tensorflow - "truncated gradients"在 LSTM 中意味着什么？

Question

我正在学习有关 LSTM 的 tensorflow 教程:Truncated Backpropagation 。

本节说代码使用“截断反向传播”，那么这到底是什么意思？

Answer 1

在一般的神经网络设置中(大多数时候)，您在训练期间执行两个步骤:

正向通行证

• 向网络显示一些输入，并检查输出
• 计算输出的损失(与标签或您想要的某些行为相比)

向后传递

• 根据计算出的损失和网络状态，您可以计算应用于网络权重的梯度，以便网络进行学习。
• 这些渐变从输出层向后应用。

在向后传递中，由于某种原因，您可能只想训练顶层或仅训练网络的某些特定部分。在这种情况下，您可能希望在该点停止梯度的向后传递。这就是截断反向传播的作用(通常通过 https://www.tensorflow.org/versions/r0.9/api_docs/python/train.html#stop_gradient) 完成。