个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Pytorch技巧:DataLoader的collate_fn参数使用详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
DataLoader完整的参数表如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
|
class
torch.utils.data.DataLoader(
dataset,
batch_size
=
1
,
shuffle
=
False
,
sampler
=
None
,
batch_sampler
=
None
,
num_workers
=
0
,
collate_fn
=
<function default_collate>,
pin_memory
=
False
,
drop_last
=
False
,
timeout
=
0
,
worker_init_fn
=
None
)
|
DataLoader在数据集上提供单进程或多进程的迭代器 。
几个关键的参数意思:
- shuffle：设置为True的时候，每个世代都会打乱数据集 。
- collate_fn：如何取样本的，我们可以定义自己的函数来准确地实现想要的功能 。
- drop_last：告诉如何处理数据集长度除于batch_size余下的数据。True就抛弃，否则保留 。
一个测试的例子 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
import
torch
import
torch.utils.data as Data
import
numpy as np
test
=
np.array([
0
,
1
,
2
,
3
,
4
,
5
,
6
,
7
,
8
,
9
,
10
,
11
])
inputing
=
torch.tensor(np.array([test[i:i
+
3
]
for
i
in
range
(
10
)]))
target
=
torch.tensor(np.array([test[i:i
+
1
]
for
i
in
range
(
10
)]))
torch_dataset
=
Data.TensorDataset(inputing,target)
batch
=
3
loader
=
Data.DataLoader(
dataset
=
torch_dataset,
batch_size
=
batch,
# 批大小
# 若dataset中的样本数不能被batch_size整除的话，最后剩余多少就使用多少
collate_fn
=
lambda
x:(
torch.cat(
[x[i][j].unsqueeze(
0
)
for
i
in
range
(
len
(x))],
0
).unsqueeze(
0
)
for
j
in
range
(
len
(x[
0
]))
)
)
for
(i,j)
in
loader:
print
(i)
print
(j)
|
输出结果:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
tensor([[[
0
,
1
,
2
],
[
1
,
2
,
3
],
[
2
,
3
,
4
]]], dtype
=
torch.int32)
tensor([[[
0
],
[
1
],
[
2
]]], dtype
=
torch.int32)
tensor([[[
3
,
4
,
5
],
[
4
,
5
,
6
],
[
5
,
6
,
7
]]], dtype
=
torch.int32)
tensor([[[
3
],
[
4
],
[
5
]]], dtype
=
torch.int32)
tensor([[[
6
,
7
,
8
],
[
7
,
8
,
9
],
[
8
,
9
,
10
]]], dtype
=
torch.int32)
tensor([[[
6
],
[
7
],
[
8
]]], dtype
=
torch.int32)
tensor([[[
9
,
10
,
11
]]], dtype
=
torch.int32)
tensor([[[
9
]]], dtype
=
torch.int32)
|
如果不要collate_fn的值，输出变成 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
tensor([[
0
,
1
,
2
],
[
1
,
2
,
3
],
[
2
,
3
,
4
]], dtype
=
torch.int32)
tensor([[
0
],
[
1
],
[
2
]], dtype
=
torch.int32)
tensor([[
3
,
4
,
5
],
[
4
,
5
,
6
],
[
5
,
6
,
7
]], dtype
=
torch.int32)
tensor([[
3
],
[
4
],
[
5
]], dtype
=
torch.int32)
tensor([[
6
,
7
,
8
],
[
7
,
8
,
9
],
[
8
,
9
,
10
]], dtype
=
torch.int32)
tensor([[
6
],
[
7
],
[
8
]], dtype
=
torch.int32)
tensor([[
9
,
10
,
11
]], dtype
=
torch.int32)
tensor([[
9
]], dtype
=
torch.int32)
|
所以collate_fn就是使结果多一维.
看看collate_fn的值是什么意思。我们把它改为如下 。
|
1
|
collate_fn
=
lambda
x:x
|
并输出 。
|
1
2
|
for
i
in
loader:
print
(i)
|
得到结果 。
|
1
2
3
4
|
[(tensor([
0
,
1
,
2
], dtype
=
torch.int32), tensor([
0
], dtype
=
torch.int32)), (tensor([
1
,
2
,
3
], dtype
=
torch.int32), tensor([
1
], dtype
=
torch.int32)), (tensor([
2
,
3
,
4
], dtype
=
torch.int32), tensor([
2
], dtype
=
torch.int32))]
[(tensor([
3
,
4
,
5
], dtype
=
torch.int32), tensor([
3
], dtype
=
torch.int32)), (tensor([
4
,
5
,
6
], dtype
=
torch.int32), tensor([
4
], dtype
=
torch.int32)), (tensor([
5
,
6
,
7
], dtype
=
torch.int32), tensor([
5
], dtype
=
torch.int32))]
[(tensor([
6
,
7
,
8
], dtype
=
torch.int32), tensor([
6
], dtype
=
torch.int32)), (tensor([
7
,
8
,
9
], dtype
=
torch.int32), tensor([
7
], dtype
=
torch.int32)), (tensor([
8
,
9
,
10
], dtype
=
torch.int32), tensor([
8
], dtype
=
torch.int32))]
[(tensor([
9
,
10
,
11
], dtype
=
torch.int32), tensor([
9
], dtype
=
torch.int32))]
|
每个i都是一个列表，每个列表包含batch_size个元组，每个元组包含TensorDataset的单独数据。所以要将重新组合成每个batch包含1*3*3的input和1*3*1的target，就要重新解包并打包。 看看我们的collate_fn:
|
1
2
3
4
5
|
collate_fn
=
lambda
x:(
torch.cat(
[x[i][j].unsqueeze(
0
)
for
i
in
range
(
len
(x))],
0
).unsqueeze(
0
)
for
j
in
range
(
len
(x[
0
]))
)
|
j取的是两个变量：input和target。i取的是batch_size。然后通过unsqueeze(0)方法在前面加一维。torch.cat(,0)将其打包起来。然后再通过unsqueeze(0)方法在前面加一维。 完成.
以上这篇Pytorch技巧:DataLoader的collate_fn参数使用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/weixin_42028364/article/details/81675021 。
最后此篇关于Pytorch技巧:DataLoader的collate_fn参数使用详解的文章就讲到这里了,如果你想了解更多关于Pytorch技巧:DataLoader的collate_fn参数使用详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
全称“Java Virtual Machine statistics monitoring tool”（statistics 统计；monitoring 监控；tool 工具） 用于监控虚拟机的各种运
主要是讲下Mongodb的索引的查看、创建、删除、类型说明，还有就是Explain执行计划的解释说明。 可以转载，但请注明出处。
1>单线程或者单进程 相当于短链接，当accept之后，就开始数据的接收和数据的发送，不接受新的连接，即一个server，一个client 不存在并发。 2>循环服务器和并发服务器
详解 linux中的关机和重启命令 一 shutdown命令 shutdown [选项] 时间 选项： ?
首先，将json串转为一个JObject对象： ? 1
matplotlib官网 matplotlib库默认英文字体 添加黑体（‘SimHei'）为绘图字体 代码： plt.rcParams['font.sans-serif']=['SimHei'
在并发编程中，synchronized关键字是常出现的角色。之前我们都称呼synchronized关键字为重量锁，但是在jdk1.6中对synchronized进行了优化，引入了偏向锁、轻量锁。本篇
一般我们的项目中会使用1到2个数据库连接配置，同程艺龙的数据库连接配置被收拢到统一的配置中心，由DBA统一配置和维护，业务方通过某个字符串配置拿到的是Connection对象。
实例如下： ? 1
1. MemoryCahe NetCore中的缓存和System.Runtime.Caching很相似，但是在功能上做了增强，缓存的key支持object类型；提供了泛型支持；可以读缓存和单个缓存
argument是javascript中函数的一个特殊参数，例如下文，利用argument访问函数参数，判断函数是否执行 复制代码 代码如下: <script
一不小心装了一个Redis服务，开了一个全网的默认端口，一开始以为这台服务器没有公网ip，结果发现之后悔之莫及啊 某天发现cpu load高的出奇，发现一个minerd进程 占了大量cpu，googl
今天写这个是为了 提醒自己 编程过程 不仅要有逻辑 思想 还有要规范 代码 这样可读性 1、PHP 编程规范与编码习惯最主要的有以下几点： 1 文件说明 2 funct
摘要：虚拟机安装时一般都采用最小化安装，默认没有lspci工具。一台测试虚拟网卡性能的虚拟机，需要lspci工具来查看网卡的类型。本文描述了在一个虚拟机中安装lspci工具的具体步骤。 由于要测试
1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统
目录 算术运算符 基本四则运算符 增量赋值运算符 自增/自减运算符 关系运算符 逻
如下所示： ? 1
MapperScannerConfigurer之sqlSessionFactory注入方式讲解 首先，Mybatis中的有一段配置非常方便，省去我们去写DaoImpl（Dao层实现类）的时间，这个
Linux的网络虚拟化是LXC项目中的一个子项目，LXC包括文件系统虚拟化，进程空间虚拟化，用户虚拟化，网络虚拟化，等等，这里使用LXC的网络虚拟化来模拟多个网络环境。 本文从基本的网络设备讲
? 1
我是一名优秀的程序员,十分优秀！