algorithm - 为什么限制权重大小可以防止机器学习中的过度拟合

Question

防止过拟合最流行的方法是机器学习中的weight decay(L2, L1)(像逻辑回归, 神经网络, 线性回归 等)。权重衰减的目的是防止权重变大。
我的问题是为什么小权重可以防止过拟合。
如果我在每次迭代后进行权重归一化会怎样。

Answer 1

想象一下抛物线 ax^2 + bx + c。系数 a 越大，抛物线越细，与数据点的拟合就越紧密。当曲线拟合数据时会发生过度拟合，太接近数据点(使用大系数)。因此，使系数变小并且普遍稀疏可以防止过拟合。