python - 回归模型中成本函数的 L1 范数而不是 L2 范数

Question

我想知道 Python 中是否有一个函数可以完成与 scipy.linalg.lstsq 相同的工作，但使用“最小绝对偏差”回归而不是“最小二乘”回归 (OLS)。我想使用 L1 规范，而不是 L2 规范。

事实上，我有 3d 个点，我想要它们中最合适的平面。常用的方法是像 Github 这样的最小二乘法 link .但众所周知，这并不总是最合适的，尤其是当我们的数据集中有闯入者时。最好计算最小的绝对偏差。两种方法的区别解释更多here .

它不会被诸如 MAD 之类的函数求解，因为它是一个 Ax = b 矩阵方程并且需要循环来最小化结果。我想知道是否有人知道 Python 中的相关函数 - 可能在线性代数包中 - 可以计算“最小绝对偏差”回归？

Answer 1

使用 scipy.optimize.minimize 和自定义 cost_function，这并不难。

让我们先进口必需品，

from scipy.optimize import minimize
import numpy as np

并定义自定义成本函数(以及用于获取拟合值的便利包装器)，

def fit(X, params):
    return X.dot(params)


def cost_function(params, X, y):
    return np.sum(np.abs(y - fit(X, params)))

然后，如果您有一些X(设计矩阵)和y(观察)，我们可以执行以下操作，

output = minimize(cost_function, x0, args=(X, y))

y_hat = fit(X, output.x)

x0 是最佳参数的一些合适的初始猜测(您可以在此处采纳@JamesPhillips 的建议，并使用 OLS 方法中的拟合参数)。

无论如何，当用一个有点人为的例子进行测试时，

X = np.asarray([np.ones((100,)), np.arange(0, 100)]).T
y = 10 + 5 * np.arange(0, 100) + 25 * np.random.random((100,))

我发现，

      fun: 629.4950595335436
 hess_inv: array([[  9.35213468e-03,  -1.66803210e-04],
       [ -1.66803210e-04,   1.24831279e-05]])
      jac: array([  0.00000000e+00,  -1.52587891e-05])
  message: 'Optimization terminated successfully.'
     nfev: 144
      nit: 11
     njev: 36
   status: 0
  success: True
        x: array([ 19.71326758,   5.07035192])

还有，

fig = plt.figure()
ax = plt.axes()

ax.plot(y, 'o', color='black')
ax.plot(y_hat, 'o', color='blue')

plt.show()

蓝色为拟合值，黑色为数据。