python - 你应该总是使用正则化 tensorflow 吗？

Question

我想知道我是否需要始终对 tensorflow 使用正则化。

def regularize(cost, theta, beta):
    return beta * tf.nn.l2_loss(theta)

我知道它是用于避免过度拟合，但我的问题是是否应该始终使用它。我在 Kaggle 上的泰坦尼克号比赛中使用了它，但它并没有像没有正则化那样提高我的分数。因此，我应该养成始终规范我的成本函数的习惯还是只在特定情况下才这样做

Answer 1

一般来说，关于如何处理特定问题，没有“基本事实”。损失函数(包括正则化器)的使用是一个广阔的领域，并且已经被多次询问，包括在 Stackoverflow 上。

编辑:还可以考虑查看 DataScience stackexchange 上的答案，这可能更适合此类问题。

就您而言，正则化(特别是 L2 正则化器)可用于保持网络中的权重较小，或者换句话说，更严厉地惩罚异常值，因为它们实际上会在泛化方面花费大量成本。

现在，如果我们以 image colorization 的任务为例，正则化器的作用可能与我们想要的完全相反!更具体地说，任何好的着色都具有强烈而清晰的对比度和饱和的色值。
另一方面，如果如此强烈的颜色值被正则化损失函数抑制，则大多数生成的图像将看起来非常暗，因为实际上不允许任何强烈的颜色。因此，最好不使用正则化器。

当然还有更多的例子，并且正则化器在某些情况下仍然有意义。我不仅会根据性能来判断，还会思考它是什么does mathematically ，来判断它在你的例子中是否有意义。
通常，您会根据异常值、方差等调查数据集，以了解有效利用所有样本(无正则化)是否是个好主意，或者惩罚少数严重异常值是否是个好主意。