tensorflow - 什么是 tensorflow 的正则化损失？

Question

当使用Tensorflows Object Detection API训练对象检测DNN时，它的可视化平台Tensorboard将绘制一个名为regularization_loss_1的标量

这是什么？我知道什么是正则化（使网络能够很好地通过各种方法（如辍学）进行概括），但我不清楚这种显示的损失可能是什么。

谢谢！

Answer 1

TL; DR：这只是正则化函数所产生的额外损失。将其添加到网络的损失中，并优化两者的总和。

在正确声明状态时，可以使用正则化方法来帮助优化方法更好地泛化。
一种获得此方法的方法是在损失函数中添加正则项。该术语是通用函数，其修改“全局”损耗（例如，网络损耗和正则化损耗之和），以便在所需方向上驱动优化算法。

举例来说，无论出于何种原因，我都希望鼓励权重尽可能接近零的优化解决方案。因此，一种方法是将网络权重的函数（例如，权重的所有绝对值的按比例缩小的总和）添加到网络产生的损耗中。由于优化算法使全局损失最小化，因此我的正则化项（当权重远非零时较高）将把优化推向权重接近零的解。