python - scipy.optimize.minimize 与 BFGS : Objective called twice with same parameter vector

Question

我正在使用 scipy.optimize.minimize使用 method='bfgs' 训练凸目标。

每次运行最小化时，BFGS 优化器对我的目标函数进行的前两次调用始终具有相同的参数向量。这似乎是不必要的，因为它浪费了好几分钟时间重新计算同一件事两次。

最小工作示例(具有更简单的目标)；

from scipy.optimize import minimize

def obj_jac(x):
    """Return objective value and jacobian value wrt. x"""
    print(x)
    return 10*x**2, 20*x

minimize(obj_jac, -100, method='bfgs', jac=True, tol=1e-7)

输出；

[-100.]
[-100.]
[-98.99]
[-94.95]
[-78.79]
[-30.17904355]
[-3.55271368e-15]

有谁知道这是否是 scipy 中 BFGS 实现的预期行为？

---

更新:我已将其提交为 issue #10385在 Scipy 项目上。

Answer 1

这不是预期的行为，或者至少存在报告错误。

通过options参数进行优化的统计输出:

minimize(obj_jac, -100, method='bfgs', jac=True, tol=1e-7, options={'disp': True})

SciPy 输出如下:

[-100.]
[-100.]
[-98.99]
[-94.95]
[-78.79]
[-30.17904355]
[-3.55271368e-15]
Optimization terminated successfully.
         Current function value: 0.000000
         Iterations: 3
         Function evaluations: 6
         Gradient evaluations: 6

报告的函数数量和梯度评估肯定相差一个。因此，BFGS 的 SciPy 中肯定存在统计报告错误。

我还怀疑 SciPy 内部存在效率低下的问题，具体如下。在迭代循环之前，评估函数及其梯度。然后开始循环并从评估函数及其梯度开始。这将为第 0 次迭代添加一个额外的函数评估，当然可以通过轻微的代码重组来避免(可能需要权衡算法可读性流程)。

以下是相关的:

• > 2014 StackOverflow similar question
• > 2014 closed bug in SciPy
• > 2014 performed pull request exactly to avoid the additional calculation

我不是 SciPy 方面的专家，我想说要么是突然冒出一个老错误(然后应该报告)，要么一开始就没有修复，尽管我从 GitHub 的讨论中了解到。