python - 使平面适合 3D 中的一组点 : scipy. optimize.minimize vs scipy.linalg.lstsq

Question

给定一组 3D 点，一般问题是找到以下形式的平面方程的 a, b, c 系数:

z = a*x + b*y + c

使得生成的平面是该组点的最佳拟合。

1. 在this SO answer , 函数 scipy.optimize.minimize用于解决这个问题。

   它依赖于对系数的初始猜测，并最小化对每个点到平面表面的距离求和的误差函数。

2. 在this code (基于 this other SO answer )scipy.linalg.lstsq函数用于解决相同的问题(当限制为一阶多项式时)。

   它求解方程 z = A*C 中的 C，其中 A 是 x,y 的串联点集合的坐标，z是集合的z坐标，C是a， b,c 系数。

   与上面方法中的代码不同，这个方法似乎不需要对平面系数进行初始猜测。

由于 minimize 函数需要初始猜测，这意味着它可能会或可能不会收敛到最优解(取决于猜测的好坏)。第二种方法是否有类似的警告，或者它会返回一个始终精确的解决方案？

Answer 1

最小二乘法 (scipy.linalg.lstsq) 保证收敛。事实上，有一个封闭形式的解析解(由 (A^T A)^-1 A^Tb 给出(其中 ^T 是矩阵转置，^ -1 是矩阵求逆)

但是，标准优化问题通常无法解决 - 我们不能保证找到最小值。然而，对于给定的方程，找到一些 a, b, c 使得 z = a*x + b*y + c，我们有一个线性优化问题(约束和目标在我们试图优化的变量中是线性的)。线性优化问题通常是可解的，因此 scipy.optimize.minimize 应该收敛到最优值。

注意:这在我们的约束中是线性的，即使我们这样做 z = a*x + b*y + d*x^2 + e*y^2 + f -- 我们不我们不必将自己限制在 (x,y) 的线性空间中，因为我们已经有了这些点 (x, y, x^2, y^2) .对于我们的算法，这些看起来就像矩阵 A 中的点。所以我们实际上可以使用最小二乘法得到更高阶的多项式!

旁白:实际上，所有不使用精确解析解的求解器通常都停留在实际答案的某个可接受范围内，因此我们很少会得到精确 解，但它往往非常接近，以至于我们在实践中将其视为精确。此外，即使是最小二乘求解器也很少使用解析解，而是求助于更快的方法，例如牛顿法。

如果你要改变优化问题，这就不是真的了。我们通常可以为某些类别的问题找到最优值(其中最大的一类称为凸优化问题——尽管有许多非凸问题我们可以在特定条件下找到最优值)。

如果您有兴趣了解更多信息，请查看 Convex Optimization博伊德和范登伯格。第一章不需要太多的数学背景，它概述了一般优化问题以及它如何与线性和凸规划等可解决的优化问题相关。