python - 约束全局优化调整 [mystic]

Question

背景

汽车应用的自动调谐器:应用程序可能会根据汽车型号而变化，因此目标函数自然也会发生变化。问题是将参数调整为特定车型的最佳参数。输入:车型，输出:特定车型应用的最佳参数。我想通过优化来解决这个问题

我正在尝试最小化一个复杂的非线性函数，该函数受到两个非线性约束的约束，一个不等式和一个等式约束。这个问题本身并没有限制，但我已经对参数设置了限制以帮助加速优化，因为我或多或少知道正确参数的位置。参数是:[x0,x1,x2,x3]

我已经将 scipy.optimize.minimize() 函数与 SLSQP 方法结合使用，并在正确界定问题范围时发现了良好的结果。虽然， scipy.optimize.minimize() 函数是一个本地优化器并解决了 QP 问题，但我认为我的问题不是。因此，我开始对 mystic (mystic.differential_evolution) 使用全局优化方法。由于我不是全局优化方面的专家，我自然会有一些问题。

问题

如果我选择的边界太宽，优化器 (mystic.differential_evolution) 将在一段时间后停止迭代并打印:

STOP("ChangeOverGeneration with {'tolerance': 0.005, 'generations': 1500}")

当我运行优化器找到的解决方案时，我发现结果不如我降低(缩小)边界那么好。显然全局优化器还没有找到全局最优，但它停止了迭代。我知道有多个参数集会产生相同的全局最小值。

由于目标函数可能会随着车型的变化而变化，因此我希望边界保持相对宽泛，以防全局最优发生变化，从而改变正确的参数。

问题

1. 如何调整优化器的设置以使其继续搜索并找到全局最优值？
2. npop = 10*dim 规则是解决问题的好方法吗？
3. 我能否拓宽优化器搜索算法的视野，让它找到它错过的最佳参数？

代码

def optimize_mystic_wd(T, param_wp, w_max, safe_f):
# mystic
import mystic
from mystic.monitors import VerboseLoggingMonitor
from mystic.penalty import quadratic_inequality
from mystic.penalty import quadratic_equality
from mystic.solvers import diffev2
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D


# tools
from mystic.tools import getch
import pylab
import numpy as np



def objective(x):
    from model_func import model
    [val, _] = model(param_wp, x)
    return -val


def penalty1(x):  # <= 0.0
    t = np.linspace(0, T, 100)
    wd = (x[0] * np.sin(x[1] * t + x[3]) + x[2])
    index = np.argmax(wd)
    t_max = t[index]
    return ((x[0] * np.sin(x[1] * t_max + x[3]) + x[2])) -2*np.pi

def penalty2(x):  # == 0.0
    return x[0] * (np.cos(x[3]) - np.cos(x[1] * T + x[3])) / x[1] + x[2] * T - 2 * np.pi

@quadratic_inequality(penalty1, k=1e12)
@quadratic_equality(penalty2, k=1e12)
def penalty(x):
    return 0.0

b1 = (0, 2*np.pi)
b2 = (0, 2 * np.pi/(2*T))
b3 = (0, 2*np.pi)
b4 = (0, 2*np.pi/T)
bounds = [b1, b2, b3, b4]

stepmon = VerboseLoggingMonitor(1,1)
result = diffev2(objective, x0=bounds, bounds=bounds, penalty=penalty, npop=40, gtol=1500, disp=True, full_output=True, itermon=stepmon, handler=True, retall=True, maxiter=4000)

Answer 1

我是 mystic 作者。

关于您的问题:

1. 差异进化可能很棘手。它会随机改变您的候选解决方案向量，并接受可提高成本的更改。默认停止条件是当 ngen 步数没有改善时退出。这意味着如果求解器提前停止，它可能甚至不在局部最小值中。但是，有多种方法可以帮助确保求解器有更好的机会找到全局最小值。

   • 增加 ngen，即没有改进的步数。
   • 增加npop，即每次迭代的候选解决方案数量。
   • 增加可能的最大迭代次数和函数评估。
   • 选择一个不使用 ngen 的不同终止条件。就个人而言，我通常使用非常大的 ngen 作为第一种方法。结果是求解器往往会运行很长时间，直到它随机找到全局最小值。这是差异进化的预期。

2. 是。

3. 我不确定你最后一个问题的意思。使用 mystic，您当然可以在优化器启动时或沿途的任何时候扩大参数范围。如果您使用类接口(interface)(DifferentialEvolutionSolver 而不是“one-liner”diffev)，那么您可以选择:

   • 在过程中的任何时候保存求解器的状态
   • 使用不同的求解器参数(包括范围)重新启动求解器。
   • Step 优化器通过优化，可能会在任何一步更改范围(或约束或惩罚)。
   • 通过添加(或删除)约束或惩罚来限制(或删除限制)求解器的范围。

最后，您可能想看看 mystic 的 ensemble 求解器，它使您能够从分布中采样 N 个优化器，每个优化器具有不同的初始条件。在这种情况下，您会选择快速的局部求解器……目的是快速搜索局部空间，但对分布进行采样有助于确保您在全局范围内进行了搜索。这就像传统的网格搜索，但优化器从“网格”的每个点开始(并使用分布，不一定是网格)。

我可能还建议看一下 this example ，它演示了如何使用 mystic.search.Searcher，其目的是(例如)有效地保持生成求解器寻找局部最小值，直到找到所有局部最小值，从而找到全局最小值。