Python sklearn KFold 生成交叉验证数据集的方法-6ren

Python sklearn KFold 生成交叉验证数据集的方法

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python sklearn KFold 生成交叉验证数据集的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

源起:

1.我要做交叉验证，需要每个训练集和测试集都保持相同的样本分布比例，直接用sklearn提供的KFold并不能满足这个需求.

2.将生成的交叉验证数据集保存成CSV文件，而不是直接用sklearn训练分类模型.

3.在编码过程中有一的误区需要注意:

这个sklearn官方给出的文档。

 
    ? 
   
 
     
       
       
         >>>  
         import 
         numpy as np 
        
 
         >>>  
         from 
         sklearn.model_selection  
         import 
         KFold 
        
 
           
        
 
         >>> X  
         = 
         [ 
         "a" 
         ,  
         "b" 
         ,  
         "c" 
         ,  
         "d" 
         ] 
        
 
         >>> kf  
         = 
         KFold(n_splits 
         = 
         2 
         ) 
        
 
         >>>  
         for 
         train, test  
         in 
         kf.split(X): 
        
 
         ...   
         print 
         ( 
         "%s %s" 
         % 
         (train, test)) 
        
 
         [ 
         2 
         3 
         ] [ 
         0 
         1 
         ] 
        
 
         [ 
         0 
         1 
         ] [ 
         2 
         3 
         ] 
        
 
     
 
   

我之前犯的一个错误是将train，test理解成原数据集分割成子数据集之后的子数据集索引。而实际上，它就是原始数据集本身的样本索引.

源码:

 
    ? 
   
         # -*- coding:utf-8 -*- 
        
         # 得到交叉验证数据集，保存成CSV文件 
        
         # 输入是一个包含正常恶意标签的完整数据集，在读数据的时候分开保存到datasetBenign，datasetMalicious 
        
         # 分别对两个数据集进行KFold，最后合并保存 
        
         from 
         sklearn.model_selection  
         import 
         KFold 
        
         import 
         csv 
        
         def 
         writeInFile(benignKFTrain, benignKFTest, maliciousKFTrain, maliciousKFTest, i, datasetBenign, datasetMalicious): 
        
         newTrainFilePath  
         = 
         "E:\\hadoopExperimentResult\\5KFold\\AllDataSetIIR10\\dataset\\ImbalancedAllTraffic-train-%s.csv" 
         % 
         i 
        
         newTestFilePath  
         = 
         "E:\\hadoopExperimentResult\\5KFold\\AllDataSetIIR10\\dataset\\IImbalancedAllTraffic-test-%s.csv" 
         % 
         i 
        
         newTrainFile  
         = 
         open 
         (newTrainFilePath,  
         "wb" 
         ) 
         # wb 为防止空行 
        
         newTestFile  
         = 
         open 
         (newTestFilePath,  
         "wb" 
         ) 
        
         writerTrain  
         = 
         csv.writer(newTrainFile) 
        
         writerTest  
         = 
         csv.writer(newTestFile) 
        
         for 
         index  
         in 
         benignKFTrain: 
        
         writerTrain.writerow(datasetBenign[index]) 
        
         for 
         index  
         in 
         benignKFTest: 
        
         writerTest.writerow(datasetBenign[index]) 
        
         for 
         index  
         in 
         maliciousKFTrain: 
        
         writerTrain.writerow(datasetMalicious[index]) 
        
         for 
         index  
         in 
         maliciousKFTest: 
        
         writerTest.writerow(datasetMalicious[index]) 
        
         newTrainFile.close() 
        
         newTestFile.close() 
        
         def 
         getKFoldDataSet(datasetPath): 
        
         # CSV读取文件 
        
         # 开始从文件中读取全部的数据集 
        
         datasetFile  
         = 
         file 
         (datasetPath,  
         'rb' 
         ) 
        
         datasetBenign  
         = 
         [] 
        
         datasetMalicious  
         = 
         [] 
        
         readerDataset  
         = 
         csv.reader(datasetFile) 
        
         for 
         line  
         in 
         readerDataset: 
        
         if 
         len 
         (line) >  
         1 
         : 
        
         curLine  
         = 
         [] 
        
         curLine.append( 
         float 
         (line[ 
         0 
         ])) 
        
         curLine.append( 
         float 
         (line[ 
         1 
         ])) 
        
         curLine.append( 
         float 
         (line[ 
         2 
         ])) 
        
         curLine.append( 
         float 
         (line[ 
         3 
         ])) 
        
         curLine.append( 
         float 
         (line[ 
         4 
         ])) 
        
         curLine.append( 
         float 
         (line[ 
         5 
         ])) 
        
         curLine.append( 
         float 
         (line[ 
         6 
         ])) 
        
         curLine.append(line[ 
         7 
         ]) 
        
         if 
         line[ 
         7 
         ]  
         = 
         = 
         "benign" 
         : 
        
         datasetBenign.append(curLine) 
        
         else 
         : 
        
         datasetMalicious.append(curLine) 
        
         # 交叉验证分割数据集 
        
         K  
         = 
         5 
        
         kf  
         = 
         KFold(n_splits 
         = 
         K) 
        
         benignKFTrain  
         = 
         []; benignKFTest  
         = 
         [] 
        
         for 
         train,test  
         in 
         kf.split(datasetBenign): 
        
         benignKFTrain.append(train) 
        
         benignKFTest.append(test) 
        
         maliciousKFTrain 
         = 
         []; maliciousKFTest 
         = 
         [] 
        
         for 
         train,test  
         in 
         kf.split(datasetMalicious): 
        
         maliciousKFTrain.append(train) 
        
         maliciousKFTest.append(test) 
        
         for 
         i  
         in 
         range 
         (K): 
        
         print 
         "======================== " 
         + 
         str 
         (i) 
         + 
         " ========================" 
        
         print 
         benignKFTrain[i], benignKFTest[i] 
        
         print 
         maliciousKFTrain[i],maliciousKFTest[i] 
        
         writeInFile(benignKFTrain[i], benignKFTest[i], maliciousKFTrain[i], maliciousKFTest[i], i, datasetBenign, 
        
         datasetMalicious) 
        
         datasetFile.close() 
        
         if 
         __name__  
         = 
         = 
         "__main__" 
         : 
        
         getKFoldDataSet(r 
         "E:\hadoopExperimentResult\5KFold\AllDataSetIIR10\dataset\ImbalancedAllTraffic-10.csv" 
         )

以上这篇Python sklearn KFold 生成交叉验证数据集的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/Ichimaru_Gin_/article/details/79455578 。

最后此篇关于Python sklearn KFold 生成交叉验证数据集的方法的文章就讲到这里了,如果你想了解更多关于Python sklearn KFold 生成交叉验证数据集的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐：在python中利用KNN实现对iris进行分类的方法

文章推荐： python 划分数据集为训练集和测试集的方法

文章推荐：超拽女生霸气头像2020最新你知道我想做的不只是朋友

文章推荐：想学python 这5本书籍你必看！

tomcat - 无法使用 JDK6 生成 keystore ，但可以使用 JDK5 生成
我正在尝试使用以下 keytool 命令为我的应用程序生成 keystore : keytool -genkey -alias tomcat -keystore tomcat.keystore -ke
javascript - D3.js:生成 X 轴会删除我的一些点的标签，生成 Y 轴会将它们全部删除
编辑:在西里尔正确解决问题后，我注意到只需将生成轴的函数放在用于生成标签的函数下面就可以解决问题。我几乎读完了 O'Reilly 书中关于 D3.js 的教程，并在倒数第二页上制作了散点图，但是当添
graphql - 从 Schema 生成 GraphQL GUI 和从 GUI 生成 Schema
虽然使用 GraphiQL 效果很好，但我的老板要求我实现一个用户界面，用户可以在其中通过 UI 元素(例如复选框、映射关系)检查呈现给他们的元素并获取数据，这样做将为该人生成 graphql 输入，
java - 如何删除 Netbean 6.8 中的生成源(jax-ws)？我应该根据网站地址从 WSDL 生成 WS 客户端还是从 api 生成 WS 客户端？
我尝试在 Netbean 6.8 中使用 ws-import 生成 Java 类。我想重新生成 jax-ws，因为在 ebay.api.paypalapi 包中发现了一个错误(我认为该错误是由于 Pa
生成 Perl 日期时间？
我有一个 perl 脚本，它获取系统日期并将该日期写入文件名。系统日期被分配给 TRH1 变量，然后它被设置为一个文件名。 $TRH1 =`date + %Y%m%d%H%M`; print "TR
Haskell UUID 生成
我是 Haskell 的新手，需要帮助。我正在尝试构建一种必须具有某种唯一性的新数据类型，因此我决定使用 UUID 作为唯一标识符: data MyType = MyType { uuid ::
php - 生成 XML
我制作了一个脚本，它可以根据 Mysql 数据库中的一些表生成 XML。该脚本在 PHP 中运行。 public function getRawMaterials($apiKey, $format
openssl - 生成、签署和验证数字签名
所以这是我的项目中的一个问题。 In this task, we will use OpenSSL to generate digital signatures. Please prepare a f
r - 生成/绘制对数正态生存函数
我在 SAS LIFEREG 中有一个加速故障时间模型，我想绘制它。因为 SAS 在绘图方面非常糟糕，我想实际重新生成 R 中曲线的数据并将它们绘制在那里。 SAS 提出了一个尺度(在指数分布固定为
Django key 生成
我正在为 Django 后端制作一个样板，并且我需要能够使它到达下一个下载它的人显然无法访问我的 secret key 的地方，或者拥有不同的 key 。我一直在研究一些选项，并在这个过程中进行了实验
iPhone Excel 生成
我正在创建一个生成采购订单的应用程序。我可以根据用户输入的详细信息创建文本文件。我想生成一个看起来比普通文本文件好得多的 Excel。有没有可以在我的应用程序中使用的开源库？最佳答案目前还没有任何
ScalaCheck 生成 BST
我正在尝试使用 ScalaCheck 为 BST 创建一个 Gen，但是当我调用 .sample 方法时，它给了我 java.lang.NullPointerException。我哪里错了？ seal
Javascript 测验结果计算/生成
已关闭。此问题需要 debugging details 。目前不接受答案。编辑问题以包含 desired behavior, a specific problem or error, and the
verilog 生成 if/else
我尝试编写一些代码，例如(在verilog中): parameter N = 128; if (encoder_in[0] == 1) begin 23 binary_out = 1;
hibernate - Grails 生成
我正忙于在 Grails 项目中进行从 MySQL 到 Postgres 的相当复杂的数据迁移。我正在使用 GORM 在 PostGres 中生成模式，然后执行 MySQL -> mysqldump
XSLT 生成 UUID
如何使用纯 XSLT 生成 UUID？基本上是寻找一种使用 XSLT 创建独特序列的方法。该序列可以是任意长度。我正在使用 XSLT 2.0。最佳答案这是一个good example 。基本上，
ios - 生成.app文件并安装在设备上
我尝试安装.app文件，但是当我安装并单击“同步”(在iTunes中)时，我开始在设备上开始安装，然后停止，这是一个问题，我不知道在哪里，但我看到了我无法解决的奇怪的事情: 最佳答案似乎您没有在Xc
java - 生成 JavaDocs？
自从我生成 JavaDocs 以来已经有一段时间了，我确信这些选项在过去 10 年左右的时间里已经得到了改进。我能否得到一些有关生成器的建议，该生成器将输出类似于 .Net 文档结构的 JavaDo
.net - 生成 PDF
我想学习如何生成 PDF，我不想使用任何第三方工具，我想自己用代码创建它。到目前为止，我所看到的唯一示例是我通过在第 3 方 dll 上打开反射器查看的代码，以查看发生了什么。不幸的是，到目前为止我看
C# Excel 生成
我正在从 Epplus 库生成 excel 条形图。这是我成功生成的。我的 table 是这样的 Mumbai Delhi Financial D

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Python sklearn KFold 生成交叉验证数据集的方法