python - Nelder-Mead 优化中的终止容差

Question

我正在尝试使用 Nelder-Mead 方法优化某个函数，并且我需要帮助理解一些参数。我对数值优化领域相当陌生，所以请原谅我对更有经验的用户可能显而易见的事情的无知。我注意到我已经看过 minimize(method=’Nelder-Mead’)并在 scipy.optimize.minimize但它并没有我希望的那么有帮助。我试图在两个条件下优化函数 $f$:(i) 我希望一旦 $f$ 值低于某个值，优化就停止；(ii) 一旦参数在最佳值附近，我不希望优化希望优化器再次增加步骤(即，一旦它低于阈值并在几次迭代中保持在阈值以下，我希望优化终止)。这是我使用的优化代码:

scipy.optimize.minimize(fun=f, x0=init_pos, method="nelder-mead",
                        options={"initial_simplex": simplex, 
                                 "disp": True, "maxiter" : 25, 
                                 "fatol": 0.50, "adaptive": True})

其中 f 是我的函数(f : RxR -> [0,sqrt(2)))。我知道 x0=init_pos 是 f 的初始值，"initial_simplex": simplex 是初始三角形(在我的 2D 情况下)，"maxiter": 25 表示优化器在终止之前将运行最多 25 次迭代。

以下是我不明白/不确定的事情:

1. 网站1说“fatol:迭代之间 func(xopt) 的绝对误差对于收敛来说是可接受的。”由于我的函数的最佳值为 f(xopt)=0，"fatol": 0.50 是否意味着一旦 f(x) 优化就会终止 的值会是 0.5 或更小吗？如果不是，我该如何修改终止条件(在我的例子中，我如何确保它确实停止一次f(x)<=0.5)？如果优化器在给出 <0.5 的区域中运行更多迭代，我没问题，但现在它倾向于以完全随机的方式跳出接近最优的区域，我希望能够防止它(如果可能的话)。

2. 同样，据我了解，“xatol:收敛可接受的迭代之间 xopt 的绝对误差。”意味着一旦最优参数与当前参数之间的差异最多为xatol，优化就会终止。由于原则上我不知道 xopt 是什么，这是否意味着在实践中一旦 |x_n - x_(n+1)|，优化器就会停止？如果不是，是否有办法添加约束以在接近最佳点时停止函数？

如果有人可以回答或给我比 SciPy 文档更好的引用，我将不胜感激。

Answer 1

1. 一旦 |f(x_n) - f(x_(n+1))|，此条件就会停止算法<法托
2. 相同:一旦 |x_n - x_(n+1)|，此条件就会停止算法