gpt4 book ai didi

python - sklearn Ridge 和 sample_weight 给出内存错误

转载 作者:太空宇宙 更新时间:2023-11-03 12:48:20 24 4
gpt4 key购买 nike

我正在尝试使用样本权重数组运行简单的 Sklearn Ridge 回归。X_train 是一个约 200k x 100 的二维 Numpy 数组。当我尝试使用 sample_weight 选项时出现内存错误。没有那个选项它工作得很好。为了简单起见,我将功能减少到 2,sklearn 仍然抛出内存错误。有什么想法吗?

model=linear_model.Ridge()

model.fit(X_train, y_train,sample_weight=w_tr)

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 449, in fit
return super(Ridge, self).fit(X, y, sample_weight=sample_weight)
File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 338, in fit
solver=self.solver)
File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 286, in ridge_regression
K = safe_sparse_dot(X, X.T, dense_output=True)
File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/utils/extmath.py", line 83, in safe_sparse_dot
return np.dot(a, b)
MemoryError

最佳答案

设置样本权重可能会导致 sklearn linear_model Ridge 对象处理数据的方式出现很大差异 - 特别是如果矩阵很高(n_samples > n_features),就像你的情况一样。如果没有样本权重,它将利用 X.T.dot(X) 是一个相对较小的矩阵(在您的情况下为 100x100)这一事实,因此将反转特征空间中的矩阵。使用给定的样本权重,Ridge 对象决定留在样本空间中(为了能够单独对样本进行加权,请参阅相关行 herehere 以分支到 _solve_dense_cholesky_kernel,这在样本空间中起作用)和因此需要反转与 X.dot(X.T) 大小相同的矩阵(在您的情况下为 n_samples x n_samples = 200000 x 200000 并且甚至在创建之前会导致内存错误)。这实际上是一个实现问题,请参阅下面的手动解决方法。

TL;DR: Ridge对象无法处理特征空间中的样本权重,会生成一个矩阵n_samples x n_samples,导致你的内存错误

在 scikit learn 中等待可能的补救措施时,您可以尝试显式地解决特征空间中的问题,就像这样

import numpy as np
alpha = 1. # You did not specify this in your Ridge object, but it is the default penalty for the Ridge object
sample_weights = w_tr.ravel() # make sure this is 1D
target = y.ravel() # make sure this is 1D as well
n_samples, n_features = X.shape
coef = np.linalg.inv((X.T * sample_weights).dot(X) +
alpha * np.eye(n_features)).dot(sample_weights * target)

对于新样本 X_new,您的预测是

prediction = np.dot(X_new, coef)

为了确认此方法的有效性,您可以将这些系数与代码中的 model.coef_(在拟合模型后)进行比较,并将其应用于较小数量的样本(例如 300),这不会导致与 Ridge 对象一起使用时出现内存错误。

重要:如果您的数据已经居中,则上面的代码仅与 sklearn 实现一致,即您的数据必须具有均值 0。在此处使用截距拟合实现全岭回归将有助于scikit learn,所以最好发帖there .将数据居中的方法如下:

X_mean = X.mean(axis=0)
target_mean = target.mean() # Assuming target is 1d as forced above

然后您可以使用提供的代码

X_centered = X - X_mean
target_centered = target - target_mean

对于新数据的预测,您需要

prediction = np.dot(X_new - X_mean, coef) + target_mean

编辑:截至 2014 年 4 月 15 日,scikit-learn 岭回归可以处理这个问题(前沿代码)。它将在 0.15 版本中可用。

关于python - sklearn Ridge 和 sample_weight 给出内存错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22766978/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com