tensorflow - 使用 TensorFlow 的 GPU 加速训练循环神经网络

Question

我有并行计算(包括一些 CUDA)、前馈神经网络和循环神经网络(以及它们如何使用 BPTT)的基本知识。

例如，当使用 TensorFlow 时，您可以在网络的训练阶段应用 GPU 加速。但是循环神经网络本质上是连续的，具有时间步长，其中当前时间步长取决于前一个时间步长，而下一个时间步长取决于当前时间步长，等等。

如果是这样的话，GPU加速是怎么工作的呢？是否所有可以并行计算的东西都是以这种方式计算的，而时间步长相关的部分是序列化的？

Answer 1

RNN 使用时间反向传播进行训练。循环网络结构展开为有限长度的有向无环图，看起来就像普通的前馈网络一样。然后使用随机梯度下降进行训练，其中在每个时间步之间存在权重必须相等的约束。

如果你明白它是这样训练的，因为它只是对给定长度的序列进行约束反向传播，你会看到没有任何关于阻止这个过程可并行化的顺序性质。