python - 较大的神经网络比较小的神经网络会收敛到更大的误差

Question

我正在使用 Python 的 Keras 库来训练神经网络。我对一种我不理解的行为感到好奇。

通常，即使稍大的模型也会比较小的模型收敛到更大的误差。

为什么会发生这种情况？我希望更大的模型可以训练更长时间，但会收敛到更小的或相同的误差。

我对模型进行了 super 优化，尝试了不同数量的 dropout 正则化，并让它训练足够的时间。我尝试了大约 10-20k 参数、5 个层、10M 数据样本和 20-100 个 epoch 的模型，LR 逐渐减小。模型包含密集层，有时包含 LSTM 层。

Answer 1

我在测试中注意到，增加参数数量需要花一些时间来检查如何准备输入数据或如何初始化权重。我发现，增加参数的数量通常需要以不同的方式初始化权重(意味着用较小的值初始化)，或者您需要对输入数据进行标准化(我猜您已经这样做了)，甚至将它们除以一个常数因子以使它们较小。有时降低学习率会有所帮助，因为随着参数的增加，你的成本函数会变得更加复杂，并且之前工作正常的学习率可能对于你的新情况来说太大了。但很难给出准确的答案。

其他:更大的误差是什么意思？你是在做分类还是回归？ 此外，您是在谈论训练集还是开发/测试集上的错误？这是一个很大的区别。很可能(如果您谈论的是开发/测试集)您过度拟合了数据，因此在开发/测试集上出现了更大的错误(偏差-方差权衡)...您能给我们更多详细信息吗？ ？