scikit-learn - SVR 估计器在训练后不包含支持向量-6ren

scikit-learn - SVR 估计器在训练后不包含支持向量

转载作者：行者123 更新时间：2023-12-04 14:03:59

当我使用 Scikit learn 的 SVR 来拟合一些自己的数据时，经过训练的估计器最终不包含支持向量，因此预测值总是恒定的。令我惊讶的是，同样的代码在使用一些随机训练数据时可以完美运行。我的代码有什么问题？数据有问题吗？ (我还有很多其他数据显示了同样的问题。)

这是代码的最小示例，首先是随机训练数据。为了确保数据能够拟合，我还添加了 KernelRidge 作为保证。使用随机训练数据，一切正常:

import numpy as np
import pandas as pd

from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.multioutput import MultiOutputRegressor
from sklearn.kernel_ridge import KernelRidge
from sklearn.svm import SVR

# Random training data - works fine with both estimators
X = np.random.rand(50, 3) * 100
Y = [[np.sum(x), np.average(x)] for x in X]

# Kernel Ridge - works fine with both data
kernelRidgePipeline = Pipeline([('scale', StandardScaler()),
                                ('KernelRidge', KernelRidge(kernel='poly'))])
kernelRidgeGridsearch = GridSearchCV(kernelRidgePipeline, n_jobs=-1,
                                     param_grid={'KernelRidge__alpha': 10.0 ** -np.arange(1, 8),
                                                 'KernelRidge__degree': range(1, 5)})
kernelRidgeGridsearch.fit(X, Y)
print('Trained Kernel Ridge, cross-validation score: {:.2%}'.format(kernelRidgeGridsearch.best_score_))
#print(pd.DataFrame(kernelRidgeGridsearch.cv_results_))

# SVR - works fine with random data, empty support vectors after training with fixed data
SVRPipeline = Pipeline([('scale', StandardScaler()),
                        ('SVR', MultiOutputRegressor(SVR(kernel='rbf')))])
SVRGridsearch = GridSearchCV(SVRPipeline, n_jobs=-1,
                             param_grid={'SVR__estimator__C': np.logspace(-3, 3, 7),
                                         'SVR__estimator__gamma': np.logspace(-3, 3, 7)})
SVRGridsearch.fit(X, Y)
print('Trained SVR, cross-validation score: {:.2%}'.format(SVRGridsearch.best_score_))
#print(pd.DataFrame(SVRGridsearch.cv_results_))

best_svr_pipe = SVRGridsearch.best_estimator_
print([(estimator, estimator.support_vectors_) for estimator in best_svr_pipe.named_steps['SVR'].estimators_])

执行上面的代码，输出结果如下:

Trained Kernel Ridge, cross-validation score: 100.00%
Trained SVR, cross-validation score: 100.00%
[(SVR(C=1000.0, gamma=0.001), array([[-0.63418505, -1.59107071, -0.24340053],
       [-1.65336124, -0.57465634, -1.6026979 ],
       [-1.18120827,  0.82189646, -1.78927989],
       [-0.95929744,  1.56254011,  1.02792552],
       ...

现在，当我改为使用以下训练数据时，问题开始出现:

# Own data - does not work with SVR
X = [[0.0009804, 0.004533 , 0.01827  , 0.007706 , 0.03145  , 0.01904  ],
     [0.05073  , 0.03821  , 0.03137  , 0.00321  , 0.04469  , 0.033    ],
     [0.03696  , 0.00544  , 0.04304  , 0.03579  , 0.01125  , 0.04032  ],
     [0.0515   , 0.01897  , 0.0      , 0.01897  , 0.0      , 0.0      ],
     [0.01897  , 0.01897  , 0.01897  , 0.0515   , 0.0      , 0.01897  ],
     [0.04704  , 0.02259  , 0.03783  , 0.008367 , 0.04813  , 0.05104  ],
     [0.0      , 0.01897  , 0.0      , 0.0515   , 0.01897  , 0.01897  ],
     [0.0      , 0.0      , 0.01897  , 0.01897  , 0.0      , 0.01897  ],
     [0.0      , 0.01897  , 0.0515   , 0.01897  , 0.0515   , 0.0515   ],
     [0.03163  , 0.02566  , 0.01027  , 0.02068  , 0.006748 , 0.02103  ],
     [0.003292 , 0.03846  , 0.02204  , 0.01941  , 0.01632  , 0.002126 ],
     [0.0515   , 0.0515   , 0.01897  , 0.01897  , 0.01897  , 0.0515   ],
     [0.0452   , 0.02487  , 0.0425   , 0.007782 , 0.001749 , 0.01841  ],
     [0.0515   , 0.0515   , 0.01897  , 0.0515   , 0.01897  , 0.0515   ],
     [0.0515   , 0.0      , 0.0515   , 0.01897  , 0.0      , 0.0515   ],
     [0.0      , 0.01897  , 0.0      , 0.0515   , 0.0      , 0.01897  ],
     [0.0      , 0.0515   , 0.01897  , 0.0      , 0.0      , 0.01897  ],
     [0.0515   , 0.0515   , 0.0515   , 0.01897  , 0.0515   , 0.01897  ],
     [0.0515   , 0.01897  , 0.0515   , 0.0515   , 0.0      , 0.0515   ],
     [0.01897  , 0.0515   , 0.01897  , 0.01897  , 0.0      , 0.0515   ],
     [0.0515   , 0.01897  , 0.0      , 0.0      , 0.0      , 0.0515   ],
     [0.04883  , 0.02794  , 0.01418  , 0.03165  , 0.01753  , 0.007313 ],
     [0.01073  , 0.009494 , 0.03339  , 0.001327 , 0.01707  , 0.01588  ],
     [0.04193  , 0.03918  , 0.007814 , 0.03498  , 0.002789 , 0.03957  ],
     [0.04872  , 0.04928  , 0.01344  , 0.03339  , 0.02326  , 0.02606  ],
     [0.00997  , 0.00993  , 0.03386  , 0.01935  , 0.006923 , 0.02288  ],
     [0.01897  , 0.01897  , 0.01897  , 0.0515   , 0.0      , 0.0515   ],
     [0.01897  , 0.0515   , 0.0515   , 0.0      , 0.01897  , 0.0      ],
     [0.008615 , 0.001054 , 0.04226  , 0.007394 , 0.002071 , 0.01514  ],
     [0.006528 , 0.04534  , 0.004602 , 0.01214  , 0.04099  , 0.02716  ],
     [0.0515   , 0.0515   , 0.0      , 0.0515   , 0.0515   , 0.0515   ],
     [0.04717  , 0.04847  , 0.02927  , 0.02849  , 0.04382  , 0.01184  ],
     [0.02146  , 0.03994  , 0.005115 , 0.02845  , 0.03113  , 0.02515  ],
     [0.003326 , 0.002409 , 0.04982  , 0.03079  , 0.02167  , 0.0116   ],
     [0.0      , 0.01897  , 0.01897  , 0.0515   , 0.0515   , 0.01897  ],
     [0.02106  , 0.01718  , 0.02647  , 0.01066  , 0.02419  , 0.002777 ],
     [0.02533  , 0.008516 , 0.05118  , 0.04527  , 0.008341 , 0.0012   ],
     [0.04721  , 0.001682 , 0.04941  , 0.0431   , 0.01283  , 0.03503  ],
     [0.01897  , 0.0      , 0.0515   , 0.0      , 0.01897  , 0.0515   ],
     [0.0      , 0.0515   , 0.0515   , 0.0515   , 0.0515   , 0.01897  ],
     [0.0      , 0.0      , 0.0515   , 0.01897  , 0.0515   , 0.0515   ],
     [0.0386   , 0.01649  , 0.02286  , 0.03572  , 0.005517 , 0.00382  ],
     [0.02654  , 0.01036  , 0.04756  , 0.04297  , 0.03086  , 0.03606  ],
     [0.01222  , 0.03092  , 0.01132  , 0.00487  , 0.0192   , 0.002185 ],
     [0.04892  , 0.03272  , 0.03173  , 0.04939  , 0.007464 , 0.02107  ],
     [0.0      , 0.0515   , 0.01897  , 0.0515   , 0.01897  , 0.0515   ],
     [0.0515   , 0.01897  , 0.0515   , 0.0      , 0.01897  , 0.0      ],
     [0.0      , 0.01897  , 0.01897  , 0.01897  , 0.0      , 0.0515   ],
     [0.01897  , 0.01897  , 0.0      , 0.01897  , 0.01897  , 0.01897  ],
     [0.049    , 0.02872  , 0.01126  , 0.03502  , 0.04904  , 0.04057  ]]
Y = [[0.008053 , 0.003143 , 0.006198 , 0.005975 , 0.008053 ],
     [0.007296 , 0.002185 , 0.003862 , 0.003294 , 0.007296 ],
     [0.006632 , 0.001999 , 0.005249 , 0.003463 , 0.006632 ],
     [0.01035  , 0.004031 , 0.006534 , 0.005148 , 0.01035  ],
     [0.007918 , 0.002983 , 0.005321 , 0.00498  , 0.007918 ],
     [0.006595 , 0.001628 , 0.003932 , 0.002831 , 0.006595 ],
     [0.007923 , 0.003134 , 0.005321 , 0.005976 , 0.007923 ],
     [0.009137 , 0.003162 , 0.006538 , 0.006061 , 0.009137 ],
     [0.005462 , 0.001916 , 0.004102 , 0.004758 , 0.005462 ],
     [0.009059 , 0.002799 , 0.00489  , 0.004375 , 0.009059 ],
     [0.007887 , 0.004124 , 0.005531 , 0.006745 , 0.007887 ],
     [0.007924 , 0.001586 , 0.002859 , 0.002664 , 0.007924 ],
     [0.008681 , 0.00287  , 0.005059 , 0.004109 , 0.008681 ],
     [0.006705 , 0.001586 , 0.002859 , 0.002664 , 0.006705 ],
     [0.007893 , 0.001608 , 0.005319 , 0.002746 , 0.007893 ],
     [0.009136 , 0.003134 , 0.005321 , 0.005976 , 0.009136 ],
     [0.01035  , 0.003072 , 0.004077 , 0.005832 , 0.01035  ],
     [0.005462 , 0.002805 , 0.004077 , 0.003883 , 0.005462 ],
     [0.006675 , 0.0016   , 0.004102 , 0.002717 , 0.006675 ],
     [0.009137 , 0.001731 , 0.002859 , 0.003662 , 0.009137 ],
     [0.01157  , 0.0016   , 0.004102 , 0.002717 , 0.01157  ],
     [0.007688 , 0.00351  , 0.005578 , 0.004669 , 0.007688 ],
     [0.008482 , 0.003219 , 0.006034 , 0.005567 , 0.008482 ],
     [0.00888  , 0.001983 , 0.003592 , 0.003275 , 0.00888  ],
     [0.007375 , 0.002475 , 0.003798 , 0.003609 , 0.007375 ],
     [0.007945 , 0.002865 , 0.005647 , 0.005245 , 0.007945 ],
     [0.007918 , 0.001765 , 0.004102 , 0.003762 , 0.007918 ],
     [0.007893 , 0.004163 , 0.00529  , 0.006093 , 0.007893 ],
     [0.00869  , 0.003287 , 0.006663 , 0.005751 , 0.00869  ],
     [0.00827  , 0.002649 , 0.003866 , 0.005098 , 0.00827  ],
     [0.006704 , 0.001586 , 0.002859 , 0.002664 , 0.006704 ],
     [0.005992 , 0.00322  , 0.004561 , 0.004387 , 0.005992 ],
     [0.007765 , 0.002648 , 0.00413  , 0.004514 , 0.007765 ],
     [0.006768 , 0.00354  , 0.006768 , 0.006256 , 0.00605  ],
     [0.005976 , 0.003134 , 0.005321 , 0.005976 , 0.005487 ],
     [0.007775 , 0.003974 , 0.006419 , 0.005899 , 0.007775 ],
     [0.007052 , 0.004071 , 0.007052 , 0.00587  , 0.006263 ],
     [0.0061   , 0.002139 , 0.005705 , 0.003364 , 0.0061   ],
     [0.007893 , 0.001781 , 0.00532  , 0.003819 , 0.007893 ],
     [0.005832 , 0.003072 , 0.004077 , 0.005832 , 0.004244 ],
     [0.005462 , 0.001944 , 0.00532  , 0.004843 , 0.005462 ],
     [0.007806 , 0.003801 , 0.006381 , 0.005206 , 0.007806 ],
     [0.005274 , 0.0022   , 0.005072 , 0.003956 , 0.005274 ],
     [0.009198 , 0.004064 , 0.005813 , 0.006297 , 0.009198 ],
     [0.00685  , 0.002716 , 0.004588 , 0.003867 , 0.00685  ],
     [0.006705 , 0.001854 , 0.002859 , 0.004614 , 0.006705 ],
     [0.007893 , 0.004031 , 0.006534 , 0.005148 , 0.007893 ],
     [0.009137 , 0.001916 , 0.004102 , 0.004758 , 0.009137 ],
     [0.009141 , 0.002983 , 0.005321 , 0.00498  , 0.009141 ],
     [0.006505 , 0.001927 , 0.003962 , 0.003081 , 0.006505 ]]

使用这个训练数据，程序的输出如下:

Trained Kernel Ridge, cross-validation score: 96.32%
Trained SVR, cross-validation score: -46.40%
[(SVR(C=0.001, gamma=0.001), array([], shape=(0, 6), dtype=float64)), (SVR(C=0.001, gamma=0.001), array([], shape=(0, 6), dtype=float64)), (SVR(C=0.001, gamma=0.001), array([], shape=(0, 6), dtype=float64)), (SVR(C=0.001, gamma=0.001), array([], shape=(0, 6), dtype=float64)), (SVR(C=0.001, gamma=0.001), array([], shape=(0, 6), dtype=float64))]

如果我取消注释 print(pd.DataFrame(SVRGridsearch.cv_results_))，我还可以看到所有超参数组合的行为都是相同的。

感谢任何帮助!

最佳答案

编辑后的答案:

问题是您的 Y 未正确缩放，请参阅 this similar post和 this

您可以将参数 epsilon 更改为 0.0001 或更低，如

('SVR', MultiOutputRegressor(SVR(kernel='rbf', epsilon=0.0001)))

或将您的 Y 至少缩放 1000。

或者，您可以尝试让 StandardScaler 在您的 Y 上运行 TransformedTargetRegressor如 this answer .

关于scikit-learn - SVR 估计器在训练后不包含支持向量，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/69109745/

文章推荐： python - 通过 OpenFaaS 在 Kubernetes 中部署 FastAPI 微服务

文章推荐： javascript - 在外部检测到单击时关闭菜单

文章推荐： c++ - '候选模板被忽略:无法使用 std::set 推断模板参数'

machine-learning - 如果不涉及 "unsupervised learning"，算法是否可以归类为 "learning"？
基本上，我的问题是，由于无监督学习是机器学习的一种，是否需要机器“学习”的某些方面并根据其发现进行改进？例如，如果开发了一种算法来获取未标记的图像并找到它们之间的关联，那么它是否需要根据这些关联来改进
machine-learning - 短语 "a machine learning algorithm learn a probability distribution"是什么意思？这里究竟发生了什么
生成模型和判别模型似乎可以学习条件 P(x|y) 和联合 P(x,y) 概率分布。但从根本上讲，我无法说服自己“学习概率分布”意味着什么。最佳答案这意味着您的模型要么充当训练样本的分布估计器，要么
scikit-learn - scikit-learn 中的成本敏感分析
是否有类似于的 scikit-learn 方法/类元成本在 Weka 或其他实用程序中实现的算法以执行常量敏感分析？最佳答案不，没有。部分分类器提供 class_weight和 sample_
machine-learning - Scikit-learn 支持迁移学习吗？
是否Scikit-learn支持迁移学习？请检查以下代码。型号 clf由 fit(X,y) 获取 jar 头型号clf2在clf的基础上学习和转移学习 fit(X2,y2) ? >>> from s
scikit-learn - Scikit Learn 分层交叉验证中的差异
我发现使用相同数据的两种交叉验证技术之间的分类性能存在差异。我想知道是否有人可以阐明这一点。方法一:cross_validation.train_test_split 方法 2:分层折叠。具有相同
scikit-learn - scikit-learn 中嵌套交叉验证的令人困惑的例子
我正在查看 scikit-learn 文档中的这个示例:http://scikit-learn.org/0.18/auto_examples/model_selection/plot_nested_c
scikit-learn - scikit-learn 中的哪些估计器不支持稀疏矩阵？
我想训练一个具有很多标称属性的数据集。我从一些帖子中注意到，要转换标称属性必须将它们转换为重复的二进制特征。另外据我所知，这样做在概念上会使数据集稀疏。我也知道 scikit-learn 使用稀疏矩阵
scikit-learn - 多标签分类的特征选择(scikit-learn)
我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时，我收到此警告: 用户
scikit-learn - scikit-learn 默认使用哪种决策树算法？
有几种算法可以构建决策树，例如 CART(分类和回归树)、ID3(迭代二分法 3)等 scikit-learn 默认使用哪种决策树算法？当我查看一些决策树 python 脚本时，它神奇地生成了带有
scikit-learn - 多标签分类的特征选择(scikit-learn)
我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时，我收到此警告: 用户
scikit-learn - scikit-learn 默认使用哪种决策树算法？
有几种算法可以构建决策树，例如 CART(分类和回归树)、ID3(迭代二分法 3)等 scikit-learn 默认使用哪种决策树算法？当我查看一些决策树 python 脚本时，它神奇地生成了带有
scikit-learn - scikit-learn 的进度条？
有没有办法让 scikit-learn 中的 fit 方法有一个进度条？是否可以包含自定义的类似 Pyprind 的内容？ ? 最佳答案如果您使用 verbose=1 初始化模型调用前 fit你应
reinforcement-learning - Q-Learning 收敛到最优策略
我正在使用基于 rlglue 的 python-rl q 学习框架。我的理解是，随着情节的发展，算法会收敛到一个最优策略(这是一个映射，说明在什么状态下采取什么行动)。问题 1:这是否意味着经过若
scikit-learn - scikit-learn 中交叉验证的一种标准错误规则
我正在尝试使用 grisSearchCV 在 scikit-learn 中拟合一些模型，并且我想使用“一个标准错误”规则来选择最佳模型，即从分数在 1 以内的模型子集中选择最简约的模型最好成绩的标准误
machine-learning - scikit learn 离散化分类数值数据
我正在尝试离散数据以进行分类。它们的值是字符串，我将它们转换为数字 0,1,2,3。这就是数据的样子(pandas 数据框)。我已将数据帧拆分为 dataLabel 和 dataFeatures L
machine-learning - 具有多项式朴素贝叶斯的大量类 (scikit-learn)
每当我开始拥有更多的类(1000 或更多)时，MultinominalNB 就会变得非常慢并且需要 GB 的 RAM。对于所有支持 .partial_fit()(SGDClassifier、Perce
machine-learning - scikit-learn 中一些感知器参数的解释
我需要使用感知器算法来研究一些非线性可分数据集的学习率和渐近误差。为了做到这一点，我需要了解构造函数的一些参数。我花了很多时间在谷歌上搜索它们，但我仍然不太明白它们的作用或如何使用它们。给我带来更
machine-learning - scikit learn 中序数数据和分类数据作为标签的区别
我知道作为功能 ordinal data could be assigned arbitrary numbers and OneHotEncoding could be done for catego
machine-learning - scikit learn 对停用词进行分类
这是一个示例，其中有逐步的过程使系统学习并对输入数据进行分类。它对给定的 5 个数据集域进行了正确分类。此外，它还对停用词进行分类。例如输入:docs_new = ['上帝就是爱', '什么在哪
machine-learning - scikit-learn 中多标签模型的得分优于具有二进制标签的相同模型
我有一个 scikit-learn 模型，它简化了一点，如下所示: clf1 = RandomForestClassifier() clf1.fit(data_training, non_binary

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

scikit-learn - SVR 估计器在训练后不包含支持向量