python - 用于非凸目标函数的 LBFGS

Question

我正在使用 Scipy 的 LBFGS 实现用于最小化非凸目标函数。结果还不错。但收敛状态为“ABNORMAL_TERMINATION_IN_LNSRCH”。

这是否可能是因为我的目标函数是非凸的？或者这是否意味着我的梯度(手动分析计算并作为参数传递给 Scipy 的 LBFGS)是错误的？

Answer 1

一切都很好。通常L-BGFS、梯度下降是凸优化方法。这意味着您的优化函数应该具有全局最小值并且应该是平滑的。当函数是非凸时，它具有不同的地形，我们称之为局部最小值。因此，在这种情况下，当我们对非凸函数使用凸优化方法时，优化过程可以找到一个局部最小值，这不是完美的答案。