python - numpy.polyfit 的额外结果是什么意思？

Question

在用numpy的polyfit创建一条best fit时，可以指定参数full为True。除了系数之外，这会返回 4 个额外的值。这些值是什么意思，它们告诉我函数与我的数据的拟合程度如何？

https://docs.scipy.org/doc/numpy/reference/generated/numpy.polyfit.html

我正在做的是:

bestFit = np.polyfit(x_data, y_data, deg=1, full=True)

我得到了结果:

(array([ 0.00062008,  0.00328837]), array([ 0.00323329]), 2, array([ 
1.30236506,  0.55122159]), 1.1102230246251565e-15)

文档说这四个额外的信息是:residuals、rank、singular_values 和 rcond。

编辑:我正在寻找有关 rcond 和 singular_values 如何描述拟合优度的进一步解释。

谢谢!

Answer 1

how rcond and singular_values describes goodness of fit.

简短的回答:他们没有。

它们没有描述多项式与数据的拟合程度；这就是 residuals 的用途。他们描述了该多项式的计算在数值上的鲁棒性。

rcond

rcond 的值与拟合质量无关，它描述了获得拟合的过程，即线性系统的最小二乘解。大多数时候 polyfit 的用户不提供这个参数，所以一个合适的值由 polyfit 自己选择。然后将该值返回给用户以供他们引用。

rcond 用于病态矩阵的截断。最小二乘求解器做两件事:

1. 找到最小化残差 Ax-b 范数的 x
2. 如果多个 x 达到此最小值，则返回其中范数最小的 x。

第二个子句出现在 x 的某些变化根本不影响右侧时。但由于浮点计算并不完美，通常发生的情况是 x 的某些变化对右侧的影响非常小。这就是 rcond 用来决定什么时候“很少”应该被视为“零噪声”的地方。

例如，考虑系统

x1                     = 1
x1 + 0.0000000001 * x2 = 2

这个问题可以精确求解:x1 = 1 和 x2 = 10000000000。但是......那个微小的系数(实际上是在一些矩阵操作之后得出的)有一些数字错误；据我们所知，它可能是负数或零。我们应该让它对解决方案产生如此巨大的影响吗？

因此，在这种情况下，矩阵(特别是它的奇异值)在 rcond 级别被截断。这留下了

x1 = 1
x1 = 2

最小二乘解是 x1 = 1.5，x2 = 0。请注意，此解是稳健的:系数的微小波动不会产生巨大的数字。

奇异值

当用最小二乘法求解线性方程组 Ax = b 时，A 的奇异值决定了这在数值上的难度。具体来说，最大和最小奇异值之间的巨大差异是有问题的:这样的系统病态。一个例子是

0.835*x1 + 0.667*x2 = 0.168
0.333*x1 + 0.266*x2 = 0.0067

精确解是(1, -1)。但如果右侧从 0.067 变为 0.066，则解为 (-666, 834)——完全不同。问题是 A 的奇异值(大致)为 1 和 1e-6；这会将右侧的任何变化放大 1e6 倍。

不幸的是，多项式拟合通常会导致病态矩阵。例如，将 24 次多项式拟合到 25 个等距数据点是不可取的。

import numpy as np
x = np.arange(25)
np.polyfit(x, x, 24, full=True)

奇异值是

 array([4.68696731e+00, 1.55044718e+00, 7.17264545e-01, 3.14298605e-01,
        1.16528492e-01, 3.84141241e-02, 1.15530672e-02, 3.20120674e-03,
        8.20608411e-04, 1.94870760e-04, 4.28461687e-05, 8.70404409e-06,
        1.62785983e-06, 2.78844775e-07, 4.34463936e-08, 6.10212689e-09,
        7.63709211e-10, 8.39231664e-11, 7.94539407e-12, 6.32326226e-13,
        4.09332903e-14, 2.05501534e-15, 7.55397827e-17, 4.81104905e-18,
        8.98275758e-20]),

使用 rcond 的默认值(此处为 5.55e-15)，将其中的四个截断为 0。

最小奇异值和最大奇异值之间的大小差异表明，用大小为 1e-15 的数字扰动 y 值可能会导致系数发生大约 1 的变化。 (不是每个扰动都会这样做，只有一些扰动恰好与奇异向量对齐以获得小的奇异值)。

排名

有效排名只是高于 rcond 阈值的奇异值的数量。在上面的示例中，它是 21。这意味着即使拟合是 25 个点，并且我们得到一个具有 25 个系数的多项式，但解中只有 21 个自由度。