optimization - 更好的初始猜测可能对优化收敛更差

Question

我有一个非常复杂的模型，其中包含许多我需要求解的参数。尽管模型很复杂，但每一步的函数形式并不是无规律的。

我发现初始值有一些奇怪的行为。如果我从标准随机值(全为 0)开始，求解器会在 673 秒内收敛于“找到局部最优解”，0 次 CG 迭代。

如果我从已知接近解的值开始，求解器将收敛于“无法改进原始可行解估计”，493 次 CG 迭代，1718 秒。

请注意，在这两种情况下，最终值相同(或非常相似)。

2个问题:

• 共轭梯度迭代次数究竟是多少，例如，求解器何时需要计算共轭梯度？在一种情况下，我看到 0 次 CG 迭代，而在另一种情况下，我看到 493 次 CG 迭代。这意味着什么？ (请注意，我确实知道什么是 CG 方法，只是不确定为什么这里与 0 在一种情况下存在巨大差异。)
• “更好的”初始值会显着减缓优化收敛的所有可能解释是什么？

Answer 1

从您的第一个问题，我们了解到您正在使用“智能”求解器，即动态调整算法以实现最佳收敛。共轭梯度法是“远程”寻找最优值的好方法，但当您接近浅最优值时收敛速度较慢。

对于所有“智能”代码，在某些情况下启发式会失败，而您已经遇到过这种情况。我假设您的最佳值相当浅，因此如果您的参数稍有变化，目标函数(即您尝试优化的实际标准)变化很小。现在求解器无法知道参数已经非常接近最优值。就其所知，它可能与目标函数非常平坦的区域中的解决方案相去甚远。经过一些初步测试后，默认使用共轭梯度法，这是一种接近最优的缓慢但安全的方法。然而，由于经过大量的搜索，它实际上并没有走多远，它告诉你，如果你幸运的话，你开始接近最优解，但如果你不幸运，你的解决方案离最优解很远很远.

如果您知道您的初始猜测会很好，您可能因此想要检查您的求解器是否允许指定应该/不应该使用哪些算法。