machine-learning - RNN(循环神经网络)可以像普通神经网络一样训练吗？

Question

训练 RNN 和简单的神经网络有什么区别？ RNN可以使用前馈和后馈的方法进行训练吗？

先谢谢了!

Answer 1

区别在于复发。因此，RNN 无法像尝试计算梯度一样轻松地进行训练 - 您很快就会发现，为了在第 n 步中获得梯度 - 您需要实际“展开”之前 n-1 个步骤的网络历史记录。这种技术被称为 BPTT(时间反向传播)，就是将反向传播直接应用于 RNN。不幸的是，这在计算上既昂贵又在数学上具有挑战性(由于梯度消失/爆炸)。人们正在多个层面上创建解决方法，例如引入可以有效训练的特定类型的 RNN(LSTM、GRU)，或修改训练程序(例如梯度钳位)。总而言之 - 理论上，从编程的角度来看，您可以在数学意义上进行“典型”反向传播 - 这需要更多的工作，因为您需要通过历史“展开”网络。这在计算上是昂贵的，并且很难在数学意义上进行优化。