python - curve_fit 拟合高度相关数据的问题

Question

对于我的学士论文，我正在研究一个项目，我想在其中对某些数据进行拟合。问题有点复杂，但我尽量减少这里的问题:

我们有三个数据点(可用的理论数据很少)，但这些点高度相关。

使用 curve_fit 来拟合这些点，我们得到了一个糟糕的拟合结果，如您在这张图片中所见。 (可以通过手动更改拟合参数轻松改进拟合)。

我们的拟合结果与相关性(蓝色)和被忽略的相关性(橙色):

当我们使用更多参数时，结果会变得更好(因为届时拟合基本上表现得像求解一样)。

我的问题:为什么会发生这种行为？ (我们使用我们自己的最小二乘算法来解决我们的特定问题，但它遇到了同样的问题)。这是一个数值问题，还是 curve_fit 显示此解决方案有任何充分的理由？

我很乐意有一个很好的解释来说明为什么我们不能使用“仅 2 个”参数来拟合这些高度相关的 3 个数据点。

import numpy as np
from scipy.optimize import curve_fit
import matplotlib.pyplot as plt
plt.rcParams['lines.linewidth'] = 1

y = np.array([1.1994, 1.0941, 1.0047])
w = np.array([1, 1.08, 1.16])
cor = np.array([[1, 0.9674, 0.8812],[0.9674, 1, 0.9523], [0.8812, 0.9523, 1]])
s = np.array([0.0095, 0.0104, 0.0072])

def f(x, a, b):
    return a + b*x

cov = np.zeros((3,3))
for i in range(3):
    for j in range(3):
        cov[i,j] = cor[i,j] * s[i] * s[j]

A1, B1 = curve_fit(f, w, y, sigma=cov)
A2, B2 = curve_fit(f, w, y)

plt.plot(w, f(w, *A1))
plt.plot(w, f(w, *A2))

plt.scatter(w, y)
plt.show()

Answer 1

这不是一个数字问题。 “问题”是协方差矩阵的非对角线项都是正的并且相对较大。这些决定了拟合误差之间的相关性，因此如果所有项都是正的，则表示所有误差都是正相关的。如果一个很大，其他的也往往会很大，而且符号相同。

这是一个类似于你的例子，带有协方差矩阵

        [2.0  1.3  0.0]
sigma = [1.3  2.0  1.3]
        [0.0  1.3  2.0]

(这个矩阵的条件数是 23.76，所以我们不应该期待任何数值问题。)

虽然第一个和第三个点之间的协方差为0，但是第一个和第二个之间，第二个和第三个之间是1.3，1.3是方差中比较大的一部分，都是2。所以它会如果拟合模型中的所有错误都具有相同的符号，这不足为奇。

此脚本对三个点进行拟合并绘制数据和拟合线。

import numpy as np
from scipy.optimize import curve_fit
import matplotlib.pyplot as plt


def f(x, a, b):
    return a + b*x


x = np.array([1, 2, 3])
y = np.array([2, 0.75, 0])
sig = np.array([[2.0, 1.3, 0.0],
                [1.3, 2.0, 1.3],
                [0.0, 1.3, 2.0]])

params, pcov = curve_fit(f, x, y, sigma=sig)

y_errors = f(x, *params) - y

plt.plot(x, y, 'ko', label="data")
plt.plot(x, f(x, *params), linewidth=2.5, label="fitted curve")
plt.vlines(x, y, f(x, *params), 'r')

for k in range(3):
    plt.annotate(s=r"$e_{%d}$" % (k+1), xy=(x[k]-0.05, y[k]+0.5*y_errors[k]), ha='right')

plt.xlabel('x')
plt.ylabel('y')
plt.axis('equal')
plt.grid()
plt.legend(framealpha=1, shadow=True)
plt.show()

正如您在图中看到的，所有错误都具有相同的符号。

我们可以通过考虑另一个协方差矩阵来证实这个推理，

        [ 2.0   1.3  -1.0]
sigma = [ 1.3   2.0  -1.3]
        [-1.0  -1.3   2.0]

在这种情况下，所有非对角线项的量级都相对较大。第一个和第二个误差之间的协方差为正，第二个和第三个之间以及第一个和第三个之间的协方差为负。如果这些非对角项相对于方差足够大，我们应该期望前两点的误差符号相同，而第三个误差的符号与前两个相反。

这是当 sig 更改为上述矩阵时脚本生成的图:

错误显示了预期的模式。