python - sklearn中没有最小二乘法的线性回归

Question

我正在使用 sklearn.linear_model 的 LinearRegression 模块，我想计算我的线性回归模型的参数而不使用最小二乘法。

例如，我想通过最小化模块 sklearn.metrics 中定义的回归指标之一的值来估计此参数(例如，mean_squared_log_error)。

是否有一个模块可以让我轻松地做到这一点？

Answer 1

您可以编写自己的成本函数并调用最小化。请注意，minimize 没有任何限制，因此您可能想在我在这里展示的内容之上添加一些内容:

import numpy as np
from sklearn.metrics import mean_squared_log_error
from scipy.optimize import minimize

a = np.array([1, 2, 3])
b = np.array([100, 200, 300])

所以这是我想要学习的模型(即回归器):

def fun(x):
    return a*x

现在这是我的成本函数:

def cost(x):
    return mean_squared_log_error(b, fun(x))

现在我可以优化它了:

print(minimize(cost, x0=[1]))

请注意，我在这里没有提供梯度，因此可能会很慢(或者使用带有某些优化器的数值差异 IIRC)。