tensorflow - 为什么 Tensorflow 对象检测禁用 Faster R-CNN 的正则化

Question

在 Tensorflow Object Detection 示例配置文件中，所有 Faster R-CNN 配置文件都禁用了正则化项

regularizer {
    l2_regularizer {
      weight: 0.0
    }
  }

我觉得这不合理，而且很可能会过度拟合。对此类设置有什么解释吗？谢谢你。

Answer 1

“应用了强正则化(例如 maxout 或 dropout)以获得该数据集的最佳结果。在本文中，我们不使用 maxout/dropout，而只是通过设计的深而薄的架构简单地强加正则化，而不会分散对困难的关注优化。但结合更强的正则化可能会改善结果，我们将在 future 研究。” [他等。 al，用于图像识别的深度残差学习]

我认为作者提到的直接应用于 RESNET 架构的正则化来自夹在每个 conv 层和每个激活之间的批处理规范层。虽然作者没有提及 L2 正则化的使用，但他们关于 maxout 和 dropout 的声明应该适用。 BN 层具有在不施加显式惩罚的情况下对网络进行正则化的效果，因此不需要 L2 正则化。

也就是说，如果您想尝试更强的正则化，则可以选择该选项。