machine-learning - 正则化如何缩小参数？

Question

这实际上可能是一个简单的问题，但我有点困惑。这是平方误差成本函数

Answer 1

基本上，您正在尝试最小化 J，其形式为

J(theta) = f(theta) + lambda*||theta||^2

现在，第一项衡量经验误差有多大(拟合数据)，第二项衡量参数向量有多大。您正在最小化两个值的总和，因此为了获得较小的值，您必须或多或少地最小化这两个值。当然，情况可能仍然是这样，对于一些非常大的 theta，f(theta) 很小，在那里获得最小值。但这就是 lambda 的意义所在 - 通过设置高 lambda，您会使 theta 的增长变得越来越昂贵，因此优化过程必须减小所使用的 theta 的大小，以实现函数的最小值。