python - 尽管 x0 在范围内，Scipy 优化仍会引发 ValueError

Question

我试图将 sigmoid 曲线拟合到一小组点上，基本上从一组观察中生成概率曲线。我正在使用 scipy.optimize.curve_fit , 具有稍微修改的逻辑函数(以便完全绑定(bind)在 [0,1] 内)。目前，我在 dogbox 方法和精确的 tr_solver 方面取得了最大的成功。

当我尝试运行代码时，对于某些数据点，它会引发:

ValueError: `x0` violates bound constraints.

在我更新到最新版本的 numpy/scipy(numpy 1.17.0，scipy 1.3.1)之前，我没有遇到这个问题(使用相同的代码和数据)，所以我相信这是这次更新的结果(我无法降级，因为该项目其他方面所需的其他库需要这些版本)

我在一个大型数据集(N ~15000)上运行它，对于非常具体的值，曲线拟合失败，声称初始猜测超出了界限约束。情况并非如此，甚至在提供的示例中的曲线拟合之前通过 print 语句快速检查也证实了这一点。

起初我以为这是一个 numpy 精度错误，这么小的值被认为超出了界限，但是稍微改变它或提供一个新的、任意数量的类似大小不会导致 ValueError。此外，其他失败的值与 ~1e-10 一样大，所以我认为它一定是别的东西。

这是一个每次都失败的例子:

import numpy as np
import scipy as sp
from scipy.special import expit, logit
import scipy.optimize

def f(x,x0,g,c,k):
    y = c*expit(k*10.*(x-x0)) + g*(1.-c)
    return y

#               x0                      g                       c                       k
p0 = np.array([8.841357069490852e-01, 4.492363462957287e-19, 5.547073496706608e-01, 7.435378446218519e+00])
bounds = np.array([[-1.,1.], [0.,1.], [0.,1.], [0.,20.]])
x = np.array([1.0, 1.0, 1.0, 1.0, 1.0, 0.8911796599834791, 1.0, 1.0, 1.0, 0.33232919909076103, 1.0])
y = np.array([0.999, 0.999, 0.999, 0.999, 0.999, 0.001, 0.001, 0.001, 0.001, 0.001, 0.001])
s = np.array([0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9])

print([pval >= b[0] and pval <= b[1] for pval,b in zip(p0,bounds)])

fit,cov = sp.optimize.curve_fit(f,x,y,p0=p0,sigma=s,bounds=([b[0] for b in bounds],[b[1] for b in bounds]),method='dogbox',tr_solver='exact')

print(fit)
print(cov)

这是特定的错误堆栈，上面调用曲线拟合之后的所有内容。

File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\minpack.py", line 763, in curve_fit
  **kwargs)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_lsq\least_squares.py", line 927, in least_squares
  tr_solver, tr_options, verbose)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_lsq\dogbox.py", line 310, in dogbox
  J = jac(x, f)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_lsq\least_squares.py", line 874, in jac_wrapped
  kwargs=kwargs, sparsity=jac_sparsity)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_numdiff.py", line 362, in approx_derivative
  raise ValueError("`x0` violates bound constraints.")
ValueError: `x0` violates bound constraints.

如果有人对可能导致此问题的原因有任何见解，我将非常感谢您的帮助!我做了一些搜索，找不到任何可能与这种情况有关的答案，所以我决定提出这个问题。谢谢!

编辑 9/9/19: np.__version__是 1.17.2 和 sp.__version__是 1.3.1，当我最初发布此内容时，我使用的是 numpy 1.17.0，但升级并没有解决问题。我在 64 位 Windows 10 上的 Python 3.6.6 上运行它。

如果我将第二个或第四个绑定(bind)更改为 +/-np.inf (或同时更改两者)，那么代码实际上完成了——但我仍然不确定我的 x0 是如何无效的(我仍然需要适合这些值)

编辑:20 年 1 月 22 日
升级 np.__version__到 1.18.1 和 sp.__version__到1.4.1，无济于事。我打开了 an issue on the scipy github repository对于这个错误。但是，他们似乎也无法重现该问题，因此无法解决该问题。

Answer 1

可怕的黑客攻击。不要在家里做 :) 但如果您只需要自担风险完成工作:
在C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_numdiff.py
寻找:

if np.any((x0 < lb) | (x0 > ub)):
    raise ValueError("`x0` violates bound constraints.")

用。。。来代替:

if np.any(((x0 - lb) < -1e-12) | (x0 > ub)):
    raise ValueError("`x0` violates bound constraints.")

在哪里 -1e-12是您认为您的案例可以容忍的约束约束的错误 (x0-lb) < 0 .这里 x0是一个猜测， lb是一个下界。
我不知道这次黑客攻击会导致什么样的数字恐怖。但如果你只是想开始...