gpt4 book ai didi

machine-learning - 线性回归标准化的影响: Machine Learning

转载 作者:行者123 更新时间:2023-11-30 09:26:17 31 4
gpt4 key购买 nike

作为我作业的一部分,我正在处理几个数据集,并通过线性回归查找它们的训练错误。我想知道标准化是否对训练误差有影响?对于标准化前后的数据集,我的相关性和 RMSE 是相等的。

谢谢

最佳答案

很容易证明,对于线性回归,如果您只是通过缩放(通过a)来转换输入数据并不重要;这同样适用于翻译,这意味着任何形式的转换X' = aX + b 对于实数 a != 0,b 具有相同的属性)。

X' = aX

w = (X^TX)X^Ty
w' = (aX^TaX)^-1 aX^Ty
w' = 1/a w

因此

X^Tw = 1/a aX^T w = aX^T 1/a w = X'^Tw'^T 

因此,计算误差的投影在缩放前后完全相同,因此任何类型的损失函数(独立于 x)都会产生完全相同的结果。

但是,如果缩放输出变量,则错误将会改变。此外,如果您以更复杂的方式标准化数据集,然后仅乘以一个数字(例如 - 通过白化或几乎任何旋转),那么您的结果将取决于预处理。如果您使用正则化线性回归(岭回归),那么即使将输入数据缩放一个常数也很重要(因为它改变了正则化参数的“含义”)。

关于machine-learning - 线性回归标准化的影响: Machine Learning,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33546513/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com