c++ - 如何优化非线性方程组的解？

Question

我有非线性方程，例如:

Y = f1(X)

Y = f2(X)

...

Y = fn(X)

一般来说，他们没有精确解，因此我使用 Newton's method解决它们。方法是基于迭代的，我正在寻找优化计算的方法。最小化计算时间的方法有哪些？避免计算平方根或其他数学函数？也许我应该在 C++ 代码中使用汇编(解决方案是用 C++ 编写的)？

Answer 1

处理非线性最小二乘问题的一种流行方法是 Levenberg-Marquardt 算法。它是高斯牛顿法和梯度下降法的混合体。它结合了两全其美(很好地导航不适定问题的搜索空间并快速收敛)。但是在实现方面有很多回旋余地。例如，如果方阵 J^T J(其中 J 是包含所有方程的所有导数的雅可比矩阵)是稀疏的，您可以使用迭代 CG 算法快速求解方程系统，而不是像 J 的 Cholesky 分解这样的直接方法^T J 或 J 的 QR 分解。

但不要只是假设某些部分很慢并且需要用汇编程序编写。汇编程序是最后要考虑的事情。在你走那条路之前，你应该总是使用分析器来检查瓶颈在哪里。