machine-learning - 神经网络训练期间的 MSE

Question

训练期间 MSE 是否有可能增加？

我目前正在计算每个时期验证集的 MSE，在某个点，MSE 开始增加而不是减少。有人对这种行为有解释吗？

Answer 1

回答您的问题:是的，有可能。

如果您使用正则化或随机训练，训练时 MSE 出现一些起伏是正常的。

问题的一些可能原因

1. 您使用的学习率太高，这会导致超出成本函数局部最小值的问题。

2. 神经网络过度拟合。训练太多而失去泛化能力。

您可以尝试什么:

1. 当这种情况开始发生时，降低你的学习率。

2. 在网络上应用某种正则化(例如 dropout)以避免过度拟合。