python - cvxpy:针对大型问题在二维中实现平滑度的最佳策略

Question

可能有某个地方漂浮的答案，但我找不到。

我想最小化具有变量 X >= 0 和一阶导数矩阵 D，因此 X 在列方向上是平滑的并且具有相对大的数据。

过去我使用过各种方法来解决这个问题(例如使用 scipy.optimize.lsq_linear 或 pylops )，现在想试试 cvxpy使用下面的通用方法(使用 SCS，因为否则问题将无法放入内存):

def cvxpy_solve_smooth(A, B, lambd=0):
    D = get_D(B.shape[1])
    X = cp.Variable((A.shape[1], B.shape[1]))
    cost1 = cp.sum_squares(A @ X - B)
    cost2 = lambd * cp.sum_squares(X @ D.T)
    constr = [0 <= X]
    prob = cp.Problem(cp.Minimize(cost1 + cost2), constr)
    prob.solve(solver=cp.SCS)
    return X.value

def get_D(n):
    D = np.diag(np.ones(n - 1), 1)
    np.fill_diagonal(D, -1)
    D = D[:-1]
    return D

但是，这比使用稀疏矩阵的 scipy.optimize.lsq_linear 慢得多。我可以在问题公式、求解器选项、cvxpy 高级功能等方面做些什么来提高性能？

Answer 1

基于 SCS

检查您的免选项调用中配置的 SCS。我怀疑它是以直接模式启动的，您也应该尝试间接模式 (use_indirect=True)。打开详细信息 (verbose=True) 应该会显示当前正在使用的内容

备选方案

这看起来像是仅具有边界约束的平滑无约束优化。我怀疑 SCS 是这里的正确方法(它太强大了；太笼统了)。

我会开火 L-BFGS-B (支持边界约束)( reference impl )，例如通过scipy .对于原型(prototype)，您可能会使用自动数值差异，但对于您的最终版本，您应该提供自定义梯度。我怀疑，它会比 SCS 更有效率。但这也取决于您追求的准确性。