个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
29
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章用pandas划分数据集实现训练集和测试集由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
1、使用model_select子模块中的train_test_split函数进行划分 。
数据：使用kaggle上Titanic数据集 。
划分方法：随机划分 。
|
1
2
3
4
5
6
7
8
9
|
# 导入pandas模块，sklearn中model_select模块
import
pandas as pd
from
sklearn.model_select
import
train_test_split
# 读取数据
data
=
pd.read_csv(
'.../titanic_dataset/train.csv'
)
# 将特征划分到 X 中，标签划分到 Y 中
x
=
data.iloc[:,
2
:]
y
=
data.loc[
'Survived'
]
# 使用train_test_split函数划分数据集(训练集占75%，测试集占25%)
|
x_train, x_test, y_train，y_test = train_test_split(x, y, test_size=0.25, ramdon_state=0) 。
缺点：1、数据浪费严重，只对部分数据进行了验证 。
2、容易过拟合 。
2、k折交叉验证（kfold） 。
原理：将数据集划分成n个不相交的子集，每次选择其中一个作为测试集，剩余n-1个子集作为 训练集，共生成 n 组数据 。
使用方法：sklearn.model_select.KFold（n_splits=5，shuffle=False，random_state=0） 。
参数说明：n_splits：数据集划分的份数， 。
shuffle：每次划分前是否重新洗牌 ,False表示划分前不洗牌，每次划分结果一样，True表示划分前洗牌，每次划分结果不同 。
random_state：随机种子数 。
（1）shuffle=False 情况下数据划分情况 。
|
1
2
3
4
5
6
7
8
9
10
11
12
|
# 不洗牌模式下数据划分情况
import
numpy as np
from
sklearn.model_selection
import
KFold
x
=
np.arange(
46
).reshape(
23
,
2
)
kf
=
KFold(n_splits
=
5
,shuffle
=
False
)
for
train_index, test_index
in
kf.split(x):
print
(train_index,test_index)
[
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
] [
0
1
2
3
4
]
[
0
1
2
3
4
10
11
12
13
14
15
16
17
18
19
20
21
22
] [
5
6
7
8
9
]
[
0
1
2
3
4
5
6
7
8
9
15
16
17
18
19
20
21
22
] [
10
11
12
13
14
]
[
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
19
20
21
22
] [
15
16
17
18
]
[
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
] [
19
20
21
22
]
|
（2）shuffle=True 情况下数据划分情况 。
|
1
2
3
4
5
6
7
8
9
10
11
|
import
numpy as np
from
sklearn.model_selection
import
KFold
x
=
np.arange(
46
).reshape(
23
,
2
)
kf
=
KFold(n_splits
=
5
,shuffle
=
True
)
for
train_index, test_index
in
kf.split(x):
print
(train_index,test_index)
[
0
3
4
5
6
7
8
9
10
11
12
14
15
16
17
19
20
21
] [
1
2
13
18
22
]
[
0
1
2
3
5
6
7
10
11
13
15
16
17
18
19
20
21
22
] [
4
8
9
12
14
]
[
0
1
2
3
4
7
8
9
10
12
13
14
15
16
17
18
19
22
] [
5
6
11
20
21
]
[
1
2
3
4
5
6
8
9
10
11
12
13
14
15
18
19
20
21
22
] [
0
7
16
17
]
[
0
1
2
4
5
6
7
8
9
11
12
13
14
16
17
18
20
21
22
] [
3
10
15
19
]
|
总结：从数据中可以看出shuffle=True情况下数据的划分是打乱的，而shuffle=False情况下数据的划分是有序的 。
到此这篇关于用pandas划分数据集实现训练集和测试集的文章就介绍到这了,更多相关pandas划分数据集 内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://blog.csdn.net/MDbabyface/article/details/83271612 。
最后此篇关于用pandas划分数据集实现训练集和测试集的文章就讲到这里了,如果你想了解更多关于用pandas划分数据集实现训练集和测试集的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
29
4
0
pandas.crosstab 和 Pandas 数据透视表似乎都提供了完全相同的功能。有什么不同吗？ 最佳答案 pivot_table没有 normalize争论，不幸的是。 在 crosstab
我能找到的最接近的答案似乎太复杂:How I can create an interval column in pandas? 如果我有一个如下所示的 pandas 数据框: +-------+ |
这是我用来将某一行的一列值移动到同一行的另一列的当前代码: #Move 2014/15 column ValB to column ValA df.loc[(df.Survey_year == 201
我有一个以下格式的 Pandas 数据框: df = pd.DataFrame({'a' : [0,1,2,3,4,5,6], 'b' : [-0.5, 0.0, 1.0, 1.2, 1.4,
所以我有这两个数据框，我想得到一个新的数据框，它由两个数据框的行的克罗内克积组成。正确的做法是什么？ 举个例子:数据框1 c1 c2 0 10 100 1 11 110 2 12
TL;DR:在 pandas 中，如何绘制条形图以使其 x 轴刻度标签看起来像折线图？ 我制作了一个间隔均匀的时间序列(每天一个项目)，并且可以像这样很好地绘制它: intensity[350:450
我有以下两个时间列，“Time1”和“Time2”。我必须计算 Pandas 中的“差异”列，即 (Time2-Time1): Time1 Time2
从这个 df 去的正确方法是什么: >>> df=pd.DataFrame({'a':['jeff','bob','jill'], 'b':['bob','jeff','mike']}) >>> df
我想按周从 Pandas 框架中的列中累积计算唯一值。例如，假设我有这样的数据: df = pd.DataFrame({'user_id':[1,1,1,2,2,2],'week':[1,1,2,1,
数据透视表的表示形式看起来不像我在寻找的东西，更具体地说，结果行的顺序。 我不知道如何以正确的方式进行更改。 df示例: test_df = pd.DataFrame({'name':['name_1
我有一个数据框，如下所示。 Category Actual Predicted 1 1 1 1 0
我有一个 df，如下所示。 df: ID open_date limit 1 2020-06-03 100 1 2020-06-23 500
我有一个 df ，其中包含与唯一值关联的各种字符串。对于这些唯一值，我想删除不等于单独列表的行，最后一行除外。 下面使用 Label 中的各种字符串值与 Item 相关联.所以对于每个唯一的 Item
考虑以下具有相同名称的列的数据框（显然，这确实发生了，目前我有一个像这样的数据集！:(） >>> df = pd.DataFrame({"a":range(10,15),"b":range(5,10)
我在 Pandas 中有一个 DF，它看起来像: Letters Numbers A 1 A 3 A 2 A 1 B 1 B 2
如何减去两列之间的时间并将其转换为分钟 Date Time Ordered Time Delivered 0 1/11/19 9:25:00 am 10:58:00 am
我试图理解 pandas 中的下/上百分位数计算，但有点困惑。这是它的示例代码和输出。 test = pd.Series([7, 15, 36, 39, 40, 41]) test.describe(
我有一个多索引数据框，如下所示: TQ bought HT Detailed Instru
我需要从包含值“低”，“中”或“高”的数据框列创建直方图。当我尝试执行通常的df.column.hist（）时，出现以下错误。 ex3.Severity.value_counts() Out[85]:
我试图根据另一列的长度对一列进行子串，但结果集是 NaN .我究竟做错了什么？ import pandas as pd df = pd.DataFrame([['abcdefghi','xyz'],
我是一名优秀的程序员,十分优秀！