machine-learning - 误差和残差之间的确切区别是什么？

Question

因为我想的是残差=(实际 - 预测)。我们来看看线性回归的实际函数:

y= mx+c+error，我们在预测中得到的函数是 y=mx+c by

最小化 RSS。那么残差只不过是误差那么为什么这两个术语描述不同。

如果我错了，请纠正我。

Answer 1

出于所有实际目的，并且在机器学习上下文中，这两个术语被视为同义词。

术语“残差”源于统计中的线性回归；由于统计中的术语“误差”具有不同的含义，因此在当今的机器学习中，需要使用不同的术语来声明因变量的估计(预测)值与其观测值之间的差异，因此称为“残差” 。

您可以在 Wikipedia 条目 Errors and residuals 中找到更多详细信息(注意复数)；引用:

In statistics and optimization, errors and residuals are two closely related and easily confused measures of the deviation of an observed value of an element of a statistical sample from its "theoretical value". The error (or disturbance) of an observed value is the deviation of the observed value from the (unobservable) true value of a quantity of interest (for example, a population mean), and the residual of an observed value is the difference between the observed value and the estimated value of the quantity of interest (for example, a sample mean). The distinction is most important in regression analysis, where the concepts are sometimes called the regression errors and regression residuals and where they lead to the concept of studentized residuals.

请记住，以上内容来自统计领域；在机器学习环境中，我们使用术语“误差”(单数)来表示预测值和观测值之间的差异，而术语“残差”实际上几乎从未使用过......