algorithm - BFGS 对凸超参数化问题的收敛性

Question

“众所周知”BFGS优化算法对于严格凸问题是超线性收敛的，但是对于非严格凸问题有没有分析。例如，假设 f(x) 对于某个标量 x 是凸的。然后，假设我们优化 g(x1,x2)=f(x1+x2)。这仍然会始终超线性收敛吗？

Answer 1

BFGS 是否完全收敛于非凸问题仍然是一个悬而未决的问题。事实上，Powell 在 1984 年给出了一个反例，表明 BFGS 具有不精确的线搜索可能无法收敛。可以做出的是局部陈述，例如:给定局部最小值 x*，如果您最终进入 x* 附近的空间区域，BFGS 将超线性收敛。这是因为在x*附近，目标函数可以用凸二次方程精确建模。

至于你给的组合函数有什么知名度，我不太清楚。有关 BFGS 属性的详细说明，请参阅 Dennis 和 Schnabel 或 Nocedal 和 Wright。

祝你好运。