python - Scipy 使用 SLSQP 优化最小化初始猜测

Question

出于某种目的，在我的代码的一部分中，我想猜测最适合我的数据并且在某些点上不递减的五次多项式。

示例代码为:

import numpy as np
import scipy.optimize as optimize

def make_const(points):
    constr = []
    for point in points:
        c = {'type' : 'ineq', 'fun' : der, 'args' : (point,)}
        constr.append(c)
    return constr

def der(args_pol, bod):
    a, b, c, d, e, f = args_pol
    return (5*a*bod**4 + 4*b*bod**3 + 3*c*bod**2 + 2*d*bod + e)


def squares(args_pol, x, y):
    a, b, c, d, e, f = args_pol
    return ((y-(a*x**5 + b*x**4 + c*x**3 + d*x**2 + e*x + f))**2).sum()  

def ecdf(arr):
    arr = np.array(arr)
    F = [len(arr[arr<=t]) / len(arr) for t in arr]
    return np.array(F)

pH = np.array([8,8,8,7,7,7,7,7,7,7,7,6,3,2,2,2,1])
pH = np.sort(pH)
e = ecdf(pH)
ppoints = [ 1.,    2.75,  4.5,   6.25,  8.  ]
constraints1 = make_const(ppoints)

p1 = optimize.minimize(squares, [1.0, 1.0, 1.0, 1.0, 1.0, 1.0],
                       method = 'SLSQP', args = (pH, e), constraints = constraints1)

p2 = optimize.minimize(squares, [-1.0, -1.0, -1.0, -1.0, -1.0, -1.0],
                       method = 'SLSQP', args = (pH, e), constraints = constraints1)

这里p1优化失败，p2成功终止。另外，如果我没有任何限制，那么如果ppoints = []，p1白蚁成功，而p2失败。如果优化失败，消息始终是:

'Inequality constraints incompatible'

问题显然出在optimize.minimize中的初始猜测。我认为该猜测的参数必须满足我的限制。但在这里，最初的猜测 [1.0, 1.0, 1.0, 1.0, 1.0, 1.0] 满足我的约束。谁能解释一下，问题出在哪里？

Answer 1

是的，您的初始点满足约束条件。但 SLSQP 使用线性化约束，并且正在寻找与所有线性化兼容的搜索方向 ( described here )。这些最终可能会不兼容或兼容性很差，因为只有一小部分符合条件的方向，并且搜索无法找到它们。

起点 [1, 1, 1, 1, 1, 1] 不是一个好的起点。考虑在 x=8 处，首项系数 1 对多项式的贡献为 8**5，并且由于它在目标函数中平方，因此您得到大约 8**10。这使得低阶系数的贡献相形见绌，尽管如此，低阶系数对于满足接近 0 的点的约束很重要。因此，当初始点为全 1 时，该算法会出现严重的缩放问题。

使用np.zeros((6, ))作为起点是一个更好的主意；搜索从那里成功。将初始点缩放为 [7**(d-5) for d in range(6)] 也有效，但几乎没有效果(用 6 或 8 替换 7 会产生另一种错误，“正方向线性搜索的导数”)。

所以总结就是:优化问题扩展性差，导致搜索困难；并且错误消息对于实际发生的问题并不是很明确。

除了更改初始点之外，您还可以尝试提供目标函数和约束的雅可比行列式(两者都很重要，因为该方法适用于拉格朗日)。