个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Pytorch技巧:DataLoader的collate_fn参数使用详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
DataLoader完整的参数表如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
|
class
torch.utils.data.DataLoader(
dataset,
batch_size
=
1
,
shuffle
=
False
,
sampler
=
None
,
batch_sampler
=
None
,
num_workers
=
0
,
collate_fn
=
<function default_collate>,
pin_memory
=
False
,
drop_last
=
False
,
timeout
=
0
,
worker_init_fn
=
None
)
|
DataLoader在数据集上提供单进程或多进程的迭代器 。
几个关键的参数意思:
- shuffle：设置为True的时候，每个世代都会打乱数据集 。
- collate_fn：如何取样本的，我们可以定义自己的函数来准确地实现想要的功能 。
- drop_last：告诉如何处理数据集长度除于batch_size余下的数据。True就抛弃，否则保留 。
一个测试的例子 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
import
torch
import
torch.utils.data as Data
import
numpy as np
test
=
np.array([
0
,
1
,
2
,
3
,
4
,
5
,
6
,
7
,
8
,
9
,
10
,
11
])
inputing
=
torch.tensor(np.array([test[i:i
+
3
]
for
i
in
range
(
10
)]))
target
=
torch.tensor(np.array([test[i:i
+
1
]
for
i
in
range
(
10
)]))
torch_dataset
=
Data.TensorDataset(inputing,target)
batch
=
3
loader
=
Data.DataLoader(
dataset
=
torch_dataset,
batch_size
=
batch,
# 批大小
# 若dataset中的样本数不能被batch_size整除的话，最后剩余多少就使用多少
collate_fn
=
lambda
x:(
torch.cat(
[x[i][j].unsqueeze(
0
)
for
i
in
range
(
len
(x))],
0
).unsqueeze(
0
)
for
j
in
range
(
len
(x[
0
]))
)
)
for
(i,j)
in
loader:
print
(i)
print
(j)
|
输出结果:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
tensor([[[
0
,
1
,
2
],
[
1
,
2
,
3
],
[
2
,
3
,
4
]]], dtype
=
torch.int32)
tensor([[[
0
],
[
1
],
[
2
]]], dtype
=
torch.int32)
tensor([[[
3
,
4
,
5
],
[
4
,
5
,
6
],
[
5
,
6
,
7
]]], dtype
=
torch.int32)
tensor([[[
3
],
[
4
],
[
5
]]], dtype
=
torch.int32)
tensor([[[
6
,
7
,
8
],
[
7
,
8
,
9
],
[
8
,
9
,
10
]]], dtype
=
torch.int32)
tensor([[[
6
],
[
7
],
[
8
]]], dtype
=
torch.int32)
tensor([[[
9
,
10
,
11
]]], dtype
=
torch.int32)
tensor([[[
9
]]], dtype
=
torch.int32)
|
如果不要collate_fn的值，输出变成 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
tensor([[
0
,
1
,
2
],
[
1
,
2
,
3
],
[
2
,
3
,
4
]], dtype
=
torch.int32)
tensor([[
0
],
[
1
],
[
2
]], dtype
=
torch.int32)
tensor([[
3
,
4
,
5
],
[
4
,
5
,
6
],
[
5
,
6
,
7
]], dtype
=
torch.int32)
tensor([[
3
],
[
4
],
[
5
]], dtype
=
torch.int32)
tensor([[
6
,
7
,
8
],
[
7
,
8
,
9
],
[
8
,
9
,
10
]], dtype
=
torch.int32)
tensor([[
6
],
[
7
],
[
8
]], dtype
=
torch.int32)
tensor([[
9
,
10
,
11
]], dtype
=
torch.int32)
tensor([[
9
]], dtype
=
torch.int32)
|
所以collate_fn就是使结果多一维.
看看collate_fn的值是什么意思。我们把它改为如下 。
|
1
|
collate_fn
=
lambda
x:x
|
并输出 。
|
1
2
|
for
i
in
loader:
print
(i)
|
得到结果 。
|
1
2
3
4
|
[(tensor([
0
,
1
,
2
], dtype
=
torch.int32), tensor([
0
], dtype
=
torch.int32)), (tensor([
1
,
2
,
3
], dtype
=
torch.int32), tensor([
1
], dtype
=
torch.int32)), (tensor([
2
,
3
,
4
], dtype
=
torch.int32), tensor([
2
], dtype
=
torch.int32))]
[(tensor([
3
,
4
,
5
], dtype
=
torch.int32), tensor([
3
], dtype
=
torch.int32)), (tensor([
4
,
5
,
6
], dtype
=
torch.int32), tensor([
4
], dtype
=
torch.int32)), (tensor([
5
,
6
,
7
], dtype
=
torch.int32), tensor([
5
], dtype
=
torch.int32))]
[(tensor([
6
,
7
,
8
], dtype
=
torch.int32), tensor([
6
], dtype
=
torch.int32)), (tensor([
7
,
8
,
9
], dtype
=
torch.int32), tensor([
7
], dtype
=
torch.int32)), (tensor([
8
,
9
,
10
], dtype
=
torch.int32), tensor([
8
], dtype
=
torch.int32))]
[(tensor([
9
,
10
,
11
], dtype
=
torch.int32), tensor([
9
], dtype
=
torch.int32))]
|
每个i都是一个列表，每个列表包含batch_size个元组，每个元组包含TensorDataset的单独数据。所以要将重新组合成每个batch包含1*3*3的input和1*3*1的target，就要重新解包并打包。 看看我们的collate_fn:
|
1
2
3
4
5
|
collate_fn
=
lambda
x:(
torch.cat(
[x[i][j].unsqueeze(
0
)
for
i
in
range
(
len
(x))],
0
).unsqueeze(
0
)
for
j
in
range
(
len
(x[
0
]))
)
|
j取的是两个变量：input和target。i取的是batch_size。然后通过unsqueeze(0)方法在前面加一维。torch.cat(,0)将其打包起来。然后再通过unsqueeze(0)方法在前面加一维。 完成.
以上这篇Pytorch技巧:DataLoader的collate_fn参数使用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/weixin_42028364/article/details/81675021 。
最后此篇关于Pytorch技巧:DataLoader的collate_fn参数使用详解的文章就讲到这里了,如果你想了解更多关于Pytorch技巧:DataLoader的collate_fn参数使用详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 已关闭 3 年前。 此帖子于去年编辑
据我所知，在使用 GPU 训练和验证模型时，GPU 内存主要用于加载数据，向前和向后。据我所知，我认为 GPU 内存使用应该相同 1) 训练前，2) 训练后，3) 验证前，4) 验证后。但在我的例子中
我正在尝试在 PyTorch 中将两个复数矩阵相乘，看起来 the torch.matmul functions is not added yet to PyTorch library for com
我正在尝试定义二分类问题的损失函数。但是，目标标签不是硬标签0，1，而是0~1之间的一个 float 。 Pytorch 中的 torch.nn.CrossEntropy 不支持软标签，所以我想自己写
我正在尝试让 PyTorch 与 DataLoader 一起工作，据说这是处理小批量的最简单方法，在某些情况下这是获得最佳性能所必需的。 DataLoader 需要一个数据集作为输入。 大多数关于 D
Pytorch Dataloader 的迭代顺序是否保证相同(在温和条件下)？ 例如: dataloader = DataLoader(my_dataset, batch_size=4,
PyTorch 的负对数似然损失，nn.NLLLoss定义为: 因此，如果以单批处理的标准重量计算损失，则损失的公式始终为: -1 * (prediction of model for correct
在PyTorch中，new_ones()与ones()有什么区别。例如， x2.new_ones(3,2, dtype=torch.double) 与 torch.ones(3,2, dtype=to
假设我有一个矩阵 src带形状(5, 3)和一个 bool 矩阵 adj带形状(5, 5)如下， src = tensor([[ 0, 1, 2], [ 3, 4,
我想知道如果不在第 4 行中使用“for”循环，下面的代码是否有更有效的替代方案？ import torch n, d = 37700, 7842 k = 4 sample = torch.cat([
我有三个简单的问题。 如果我的自定义损失函数不可微会发生什么？ pytorch 会通过错误还是做其他事情？ 如果我在我的自定义函数中声明了一个损失变量来表示模型的最终损失，我应该放 requires_
我想知道 PyTorch Parameter 和 Tensor 的区别？ 现有answer适用于使用变量的旧 PyTorch？ 最佳答案 这就是 Parameter 的全部想法。类(附加)在单个图像中
给定以下张量(这是网络的结果 [注意 grad_fn]): tensor([121., 241., 125., 1., 108., 238., 125., 121., 13., 117., 12
什么是__constants__在 pytorch class Linear(Module):定义于 https://pytorch.org/docs/stable/_modules/torch/nn
我在哪里可以找到pytorch函数conv2d的源代码？ 它应该在 torch.nn.functional 中，但我只找到了 _add_docstr 行， 如果我搜索conv2d。我在这里看了: ht
如 documentation 中所述在 PyTorch 中，Conv2d 层使用默认膨胀为 1。这是否意味着如果我想创建一个简单的 conv2d 层，我必须编写 nn.conv2d(in_chann
我阅读了 Pytorch 的源代码，发现它没有实现 convolution_backward 很奇怪。函数，唯一的 convolution_backward_overrideable 函数是直接引发错
我对编码真的很陌生，现在我正在尝试将我的标签变成一种热门编码。我已经完成将 np.array 传输到张量，如下所示 tensor([4., 4., 4., 4., 4., 4., 4., 4., 4.
我正在尝试实现 text classification model使用CNN。据我所知，对于文本数据，我们应该使用一维卷积。我在 pytorch 中看到了一个使用 Conv2d 的示例，但我想知道如何
我有一个多标签分类问题，我正试图用 Pytorch 中的 CNN 解决这个问题。我有 80,000 个训练示例和 7900 个类；每个示例可以同时属于多个类，每个示例的平均类数为 130。 问题是我的
我是一名优秀的程序员,十分优秀！