- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在租赁数据集上使用 scikit-learn 的 SGDRegressor 算法实现梯度下降,以根据面积预测租金,但得到奇怪的系数和截距,因此对租金的预测很奇怪。
<小时/>租赁数据集:rentals.csv(已完成列area,bedrooms,furnished,cost
650,2,1,33000
750,3,0,55000
247,1,0,10500
1256,4,0,65000
900,3,0,37000
900,3,0,50000
550,2,0,30000
1700,4,0,72000
1300,4,0,45000
1600,4,2,57000
475,2,1,30000
800,3,0,45000
350,2,0,15000
247,1,0,11500
247,1,0,16500
247,1,0,15000
330,2,0,16000
450,2,2,25000
325,1,0,13500
1650,4,0,90000
650,2,0,31000
1650,4,0,65000
900,3,0,40000
635,2,0,30000
475,2,2,28000
1120,3,0,45000
1000,3,0,38000
900,3,2,50000
610,3,0,28000
400,2,0,17000
Python 代码,alpha 值 = .000001 且 max_iter=1000
import pandas
full_data = pandas.read_csv ("./rentals.csv")
rentals = pandas.DataFrame ({'area':full_data.area,'cost':full_data.cost})
from sklearn.model_selection import train_test_split
train, test = train_test_split (rentals, test_size=0.2, random_state=11)
trainX = pandas.DataFrame ({'area': train['area']})
trainY = pandas.DataFrame ({'cost': train['cost']})
testX = pandas.DataFrame ({'area': test['area']})
testY = pandas.DataFrame ({'cost': test['cost']})
from sklearn.linear_model import SGDRegressor
reg = SGDRegressor(max_iter=1000, alpha=.000001, tol=.0001)
reg.fit (trainX, trainY)
from sklearn.metrics import mean_squared_error, r2_score
print ('Coefficients: \n', reg.coef_)
print ('Intercept: \n', reg.intercept_)
yhat = reg.predict (testX)
print ('Mean squared error: \n', mean_squared_error (testY, yhat))
print ('Variance score: \n', r2_score (testY, yhat))
print('yhat :: ',yhat)
输出
Coefficients:
[-1.77569698e+12]
Intercept:
[2.20231032e+10]
Mean squared error:
2.7699546187784015e+30
Variance score:
-1.1843036374824519e+22
yhat :: [-4.38575131e+14 -2.30838405e+15 -9.76611316e+14 -1.77567496e+15
-2.23025338e+15 -1.42053556e+15]
当 Alpha = .00000001
reg = SGDRegressor(max_iter=1000, alpha=.00000001, tol=.0001)
输出
Coefficients:
[-1.35590231e+12]
Intercept:
[-9.70811558e+10]
Mean squared error:
1.6153367348228915e+30
Variance score:
-6.906427844848468e+21
yhat :: [-3.35004951e+14 -1.76277008e+15 -7.45843351e+14 -1.35599939e+15
-1.70311038e+15 -1.08481893e+15]
我已经尝试了所有值,直到 alpha = .00000000001
reg = SGDRegressor(max_iter=1000, alpha=.00000000001, tol=.0001)
输出
Coefficients:
[1.81827102e+12]
Intercept:
[8.5060188e+09]
Mean squared error:
2.9044685546452095e+30
Variance score:
-1.2418155340525837e+22
yhat :: [4.49121448e+14 2.36376083e+15 1.00005757e+15 1.81827952e+15
2.28375691e+15 1.45462532e+15]
请指出我的代码中有什么不正确的地方?为什么我得到的值不正确?
提前致谢。
最佳答案
代码没有任何明显的错误。有趣的是,如果我们将 SGDRegressor
替换为简单的 LinearRegression
,结果看起来不错(coef = ~40,r2score = ~0.7)。数据中一定存在随机梯度不喜欢的东西。
我相信正在发生的事情是,由于数据规模太大,梯度变得太大并且算法发散。
我们可以通过设置较低的学习率来验证这一点,迫使算法采取小步长,即使梯度很高:
reg = SGDRegressor(max_iter=1000, alpha=.000001, tol=.0001, learning_rate='constant', eta0=1e-7)
# Coefficients: [46.75739932]
# Intercept: [0.11470854]
# Mean squared error: 75520077.45401965
# Variance score: 0.6771113077975406
这看起来更好,但它可能不是一个理想的解决方案,因为如果学习率较低,大数据集的训练可能需要很长时间。相反,让我们对数据的规模做一些事情:
mu_x = trainX.mean().values
mu_y = trainY.mean().values
scale_x = trainX.std().values
scale_y = trainY.std().values
trainX = (trainX - mu_x) / scale_x
trainY = (trainY - mu_y) / scale_y
reg = SGDRegressor(max_iter=1000, alpha=.000001, tol=.0001)
reg.fit(trainX, trainY)
yhat = reg.predict((testX - mu_x) / scale_x) * scale_y + mu_y
# Coefficients: [0.89319654]
# Intercept: [0.00064678]
# Mean squared error: 59575772.471740596
# Variance score: 0.7452817328999215
对数据进行居中和重新缩放有很大帮助。还有scikit-learn StandardScaler
但我喜欢展示手动方法来说明正在发生的事情。
关于python - 使用 scikit-learn 的 SGDRegressor 算法进行梯度下降,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54512622/
滑动窗口限流 滑动窗口限流是一种常用的限流算法,通过维护一个固定大小的窗口,在单位时间内允许通过的请求次数不超过设定的阈值。具体来说,滑动窗口限流算法通常包括以下几个步骤: 初始化:设置窗口
表达式求值:一个只有+,-,*,/的表达式,没有括号 一种神奇的做法:使用数组存储数字和运算符,先把优先级别高的乘法和除法计算出来,再计算加法和减法 int GetVal(string s){
【算法】前缀和 题目 先来看一道题目:(前缀和模板题) 已知一个数组A[],现在想要求出其中一些数字的和。 输入格式: 先是整数N,M,表示一共有N个数字,有M组询问 接下来有N个数,表示A[1]..
1.前序遍历 根-左-右的顺序遍历,可以使用递归 void preOrder(Node *u){ if(u==NULL)return; printf("%d ",u->val);
先看题目 物品不能分隔,必须全部取走或者留下,因此称为01背包 (只有不取和取两种状态) 看第一个样例 我们需要把4个物品装入一个容量为10的背包 我们可以简化问题,从小到大入手分析 weightva
我最近在一次采访中遇到了这个问题: 给出以下矩阵: [[ R R R R R R], [ R B B B R R], [ B R R R B B], [ R B R R R R]] 找出是否有任
我正在尝试通过 C++ 算法从我的 outlook 帐户发送一封电子邮件,该帐户已经打开并记录,但真的不知道从哪里开始(对于 outlook-c++ 集成),谷歌也没有帮我这么多。任何提示将不胜感激。
我发现自己像这样编写了一个手工制作的 while 循环: std::list foo; // In my case, map, but list is simpler auto currentPoin
我有用于检测正方形的 opencv 代码。现在我想在检测正方形后,代码运行另一个命令。 代码如下: #include "cv.h" #include "cxcore.h" #include "high
我正在尝试模拟一个 matlab 函数“imfill”来填充二进制图像(1 和 0 的二维矩阵)。 我想在矩阵中指定一个起点,并像 imfill 的 4 连接版本那样进行洪水填充。 这是否已经存在于
我正在阅读 Robert Sedgewick 的《C++ 算法》。 Basic recurrences section it was mentioned as 这种循环出现在循环输入以消除一个项目的递
我正在思考如何在我的日历中生成代表任务的数据结构(仅供我个人使用)。我有来自 DBMS 的按日期排序的任务记录,如下所示: 买牛奶(18.1.2013) 任务日期 (2013-01-15) 任务标签(
输入一个未排序的整数数组A[1..n]只有 O(d) :(d int) 计算每个元素在单次迭代中出现在列表中的次数。 map 是balanced Binary Search Tree基于确保 O(nl
我遇到了一个问题,但我仍然不知道如何解决。我想出了如何用蛮力的方式来做到这一点,但是当有成千上万的元素时它就不起作用了。 Problem: Say you are given the followin
我有一个列表列表。 L1= [[...][...][.......].......]如果我在展平列表后获取所有元素并从中提取唯一值,那么我会得到一个列表 L2。我有另一个列表 L3,它是 L2 的某个
我们得到二维矩阵数组(假设长度为 i 和宽度为 j)和整数 k我们必须找到包含这个或更大总和的最小矩形的大小F.e k=7 4 1 1 1 1 1 4 4 Anwser是2,因为4+4=8 >= 7,
我实行 3 类倒制,每周换类。顺序为早类 (m)、晚类 (n) 和下午类 (a)。我固定的订单,即它永远不会改变,即使那个星期不工作也是如此。 我创建了一个函数来获取 ISO 周数。当我给它一个日期时
假设我们有一个输入,它是一个元素列表: {a, b, c, d, e, f} 还有不同的集合,可能包含这些元素的任意组合,也可能包含不在输入列表中的其他元素: A:{e,f} B:{d,f,a} C:
我有一个子集算法,可以找到给定集合的所有子集。原始集合的问题在于它是一个不断增长的集合,如果向其中添加元素,我需要再次重新计算它的子集。 有没有一种方法可以优化子集算法,该算法可以从最后一个计算点重新
我有一个包含 100 万个符号及其预期频率的表格。 我想通过为每个符号分配一个唯一(且前缀唯一)的可变长度位串来压缩这些符号的序列,然后将它们连接在一起以表示序列。 我想分配这些位串,以使编码序列的预
我是一名优秀的程序员,十分优秀!