neural-network - 为什么缩放数据在神经网络(LSTM)中非常重要

Question

我正在写关于如何在时间序列中应用 LSTM 神经网络的硕士论文。在我的实验中，我发现缩放数据会对结果产生很大的影响。例如，当我使用 tanh 激活函数，并且值范围在 -1 和 1 之间时，模型似乎收敛得更快，并且验证错误在每个 epoch 之后也不会大幅跳跃。

有谁知道对此有任何数学解释吗？或者有没有论文已经解释过这种情况？

Answer 1

你的问题让我想起了我们类用过的一张图片，但你可以从here找到一张类似的图片。在 3:02。



在上图中，您可以明显看到左侧的路径比右侧的路径长得多。缩放应用于左侧成为右侧。