给定模型的曲线拟合算法

Question

假设我有一组 (x, y) 数据点，我被告知最能描述这些数据点的模型如下所示:

其中 A、B、C 和 D 是未知常数。目的是根据某种质量衡量标准(例如 the coefficient of determination)，找到创建“最佳拟合函数”的 A、B、C 和 D 值。

许多程序可以采用一系列数据点并创建不同类型(多项式、指数等)的平滑最佳拟合函数。他们的算法求解给定(简单)模型中的系数，并且大多数这些曲线拟合算法都有合理的记录。但是，如果没有一些自定义编程，上述功能(通常表示“更复杂”的功能)无法适应数据。

我的问题是:用于这种模型拟合的算法有哪些？

向我描述的一个算法是 Particle Swarm Optimisation ，这在计算上非常昂贵。虽然我并不是说会有“廉价”(时间复杂度)的算法来解决这类问题，但我很想知道还有哪些其他算法(进化的或其他的)。

Answer 1

如果我必须使用最小二乘法拟合像您这样的函数，我可能会尝试 http://en.wikipedia.org/wiki/Gauss%E2%80%93Newton_algorithm .如果您查看该页面的“注释”部分，您会发现它相当于近似于您试图用线性函数拟合的函数。那里的帐户说不能保证收敛，这是真的。从一个点x开始，它可以走到一个点x'，这更糟糕。但是，如果 x 不是局部最优，则在 x 附近会有一些点，Ax' + (1-A)x 哪个更好，您可以尝试通过从 A=1/2 开始并反复将其减半来找到它.

为了最小化完全非结构化的数学函数，我可能会求助于 Torczon Simplex 算法，因为有一个可以合理理解的证据表明该算法在相当弱的假设下收敛。 http://en.wikipedia.org/wiki/Pattern_search_%28optimization%29 末尾的引用资料中有指向此内容的指针.