python - 如何使用最小二乘算法通过 Python 中的线性方程匹配两个数据集

Question

我有两个一维向量。一个包含通过测量系统测量的数据。另一个向量包含一种校准数据，它们在“形状”和时间上完全相同(它基本上是单个脉冲，并且在两个向量中，这些脉冲在时域中同步)。

我想通过 original_data = (calibration_data - offset) * gain 的简单转换将校准数据曲线与原始测量数据相匹配

我需要使用“最佳方法”来找到偏移和增益参数，以使两条迹线看起来尽可能相似。为此，我认为最小二乘标量 sum_i( (F(gain,offset)(calibration_i)-measured_i) ** 2 ) 必须针对两个数据集最小化。最小化将通过调整转换函数的增益和偏移来完成。

我已经实现了这种暴力算法:

    offset = 0
    gain = 1.0
    firstIteration = True
    lastlstsq = 0
    iterations = 0

    for ioffset in np.arange(-32768, 32768, 50):
        for igain in np.arange(1,5,0.1):
            # prepare the trace by transformation:
            int1 = map(lambda c: (c - ioffset) * igain, self.fetcher.yvalues['int1'])

            # this is pretty heavy computation here
            lstsq = sum(map(lambda c: c**2, map(sub, self.fetcher.yvalues['int0'],int1)))
            if firstIteration == True:
                # just store
                lastlstsq = lstsq
                offset = ioffset
                gain = igain
                firstIteration = False
            else:
                # what lstsq:
                if lstsq < lastlstsq:
                    # got better match:
                    lastlstsq = lstsq
                    offset = ioffset
                    gain = igain
                    print "Iteration ", iterations, " squares=", lstsq, " offset=", offset, " gain=", gain
            iterations = iterations + 1

它找到了最佳匹配，但是速度太慢而且不是很精确，因为我想找到步长为 0.01 的 igain 和步长为 0.5 的 ioffset。对于这个分辨率是这个算法完全没用。

有什么办法可以用pythonic方式解决这种优化问题吗？ (或者是否有更好的方法来找到增益和偏移值以进行最佳匹配？)

不幸的是，我仅限于 numpy(没有 scipy)，但任何类型的提示都是值得赞赏的。

Answer 1

在 user3235916 的帮助下，我写下了以下代码:

import numpy as np

measuredData = np.array(yvalues['int1'])
calibrationData = np.array(yvalues['int0'])

A = np.vstack( [measuredData, np.ones(len(measuredData))]).T
gain,offset = np.linalg.lstsq(A, calibrationData)[0]

然后我可以使用以下转换将测量数据重新计算为校准数据:

map(lambda c: c*gain+offset, measuredData)

非常适合(至少在视觉上)。