machine-learning - 如何在caffe或DIGITS中实现L2正则化？

Question

我正在使用 Caffe 和 NVIDIA DIGITS。我想使用在 ImageNet 上预训练的 AlexNet，并想根据我的医疗数据对其进行微调。我有近 1000 张图像，其中 80% 用于训练，通过数据增强(使用裁剪和旋​​转)生成了 40,000 张图像。然而我面临着严重的过度拟合。我尝试通过添加多个丢失层来克服这个问题。结果更改为:

至:

但我的准确性没有提高。

我的网络规范:

AlexNet 在 ImageNet 上预训练

基础学习率:0.001

学习率乘数:卷积层为 0.1，全连接层和 xavier 权重初始化为 1。

辍学率:0.5

现在我想添加 L2 正则化。我在 Caffe 中没有找到这样的层，我也许应该自己制作。

第一个问题:您对我的问题有什么解决办法吗？ (我尝试过其他方法，例如更改步长，将学习率从 1 更改为 10^(-5) ，我发现 0.001 更好，权衡衰减变化，添加各种丢失层(如您所见，这有帮助))

第二个问题:你能帮我如何实现 L2 正则化吗？

Answer 1

caffe 中默认有 L2 正则化。
请参阅this thread了解更多信息。