machine-learning - 重量衰减值增加显示最差性能

Question

我正在研究二元分类。我创建了我的网络，如下所示:Conv1、Relu1、Pool1 - Conv2、Relu2、Pool2 - Conv3、Relu3、Pool3 - Conv4、Relu4 - Conv5 Relu5 Dropot 0.5、FC、Dropout 0.5 - SoftmaxlossLayer

所有转换层都是 3x3。

默认权重衰减为 0.0005。我得到了这个结果。训练准确率:98%测试准确率:88%

然后将相同的网络与 Weightdecay 0.005 一起使用

有人可以帮我分享一下为什么通过改变权重衰减值会出现这样的情况吗？

Answer 1

权重衰减会惩罚模型的复杂性，因此它用于控制模型的方差及其偏差。显然，如果你过多地惩罚复杂性，模型将不会学到任何有用的东西，因为它太简单了。

对于正则化神经网络的其他方法，您可以参见 notes for Hinton's Coursera course .