machine-learning - 神经网络中的学习曲线和验证曲线

Question

我正在尝试构建一个神经网络来研究具有连续输出变量的问题。下面描述了所使用的神经网络的示意图

Schematic representation of neural network: input layer size = 1; hidden layer size = 8; output layer size = 1.

我试图理解学习曲线(误差与训练样本数量)和验证曲线(误差与正则化参数 lambda)。

Learning curves (lambda = 0.01, and lambda = 10) and validation curve.

我对机器学习比较陌生，我想知道是否有人可以就这些结果的分析给我一些建议。您认为 lambda = 0.01 时的学习曲线看起来合适吗？关于验证曲线，您是否也观察到接近 lambda = 0.01 的最小值？您会建议增加隐藏层的数量吗？

提前致谢，

日

Answer 1

关于您的 lambda=10 图，我认为您的学习率太大，因为训练批处理的误差应该小于验证批处理的误差。

lambda=0.01 的曲线似乎更合理，但训练误差曲线并没有显着改善。

我建议您根据成本值逐步降低 lambda 值。这样，您就可以在神经网络学习时不断调整 lambda。