个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
32
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Pytorch DataLoader shuffle验证方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
shuffle = False时，不打乱数据顺序 。
shuffle = True，随机打乱 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
import
numpy as np
import
h5py
import
torch
from
torch.utils.data
import
DataLoader, Dataset
h5f
=
h5py.
File
(
'train.h5'
,
'w'
);
data1
=
np.array([[
1
,
2
,
3
],
[
2
,
5
,
6
],
[
3
,
5
,
6
],
[
4
,
5
,
6
]])
data2
=
np.array([[
1
,
1
,
1
],
[
1
,
2
,
6
],
[
1
,
3
,
6
],
[
1
,
4
,
6
]])
h5f.create_dataset(
str
(
'data'
), data
=
data1)
h5f.create_dataset(
str
(
'label'
), data
=
data2)
class
Dataset(Dataset):
def
__init__(
self
):
h5f
=
h5py.
File
(
'train.h5'
,
'r'
)
self
.data
=
h5f[
'data'
]
self
.label
=
h5f[
'label'
]
def
__getitem__(
self
, index):
data
=
torch.from_numpy(
self
.data[index])
label
=
torch.from_numpy(
self
.label[index])
return
data, label
def
__len__(
self
):
assert
self
.data.shape[
0
]
=
=
self
.label.shape[
0
],
"wrong data length"
return
self
.data.shape[
0
]
dataset_train
=
Dataset()
loader_train
=
DataLoader(dataset
=
dataset_train,
batch_size
=
2
,
shuffle
=
True
)
for
i, data
in
enumerate
(loader_train):
train_data, label
=
data
print
(train_data)
|
我一开始是对数据扩增这一块有疑问, 只看到了数据变换(torchvisiom.transforms),但是没看到数据扩增, 后来搞明白了, 数据扩增在pytorch指的是torchvisiom.transforms + torch.utils.data.DataLoader+多个epoch共同作用下完成的.
数据变换共有以下内容 。
|
1
2
3
4
5
|
composed
=
transforms.Compose([transforms.Resize((
448
,
448
)),
# resize
transforms.RandomCrop(
300
),
# random crop
transforms.ToTensor(),
transforms.Normalize(mean
=
[
0.5
,
0.5
,
0.5
],
# normalize
std
=
[
0.5
,
0.5
,
0.5
])])
|
简单的数据读取类, 进返回PIL格式的image
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
class
MyDataset(data.Dataset):
def
__init__(
self
, labels_file, root_dir, transform
=
None
):
with
open
(labels_file) as csvfile:
self
.labels_file
=
list
(csv.reader(csvfile))
self
.root_dir
=
root_dir
self
.transform
=
transform
def
__len__(
self
):
return
len
(
self
.labels_file)
def
__getitem__(
self
, idx):
im_name
=
os.path.join(root_dir,
self
.labels_file[idx][
0
])
im
=
Image.
open
(im_name)
if
self
.transform:
im
=
self
.transform(im)
return
im
|
下面是主程序 。
|
1
2
3
4
5
6
7
8
9
10
11
|
labels_file
=
"F:/test_temp/labels.csv"
root_dir
=
"F:/test_temp"
dataset_transform
=
MyDataset(labels_file, root_dir, transform
=
composed)
dataloader
=
data.DataLoader(dataset_transform, batch_size
=
1
, shuffle
=
False
)
"""原始数据集共3张图片, 以batch_size=1, epoch为2 展示所有图片(共6张) """
for
eopch
in
range
(
2
):
plt.figure(figsize
=
(
6
,
6
))
for
ind, i
in
enumerate
(dataloader):
a
=
i[
0
, :, :, :].numpy().transpose((
1
,
2
,
0
))
plt.subplot(
1
,
3
, ind
+
1
)
plt.imshow(a)
|
从上述图片总可以看到, 在每个eopch阶段实际上是对原始图片重新使用了transform, , 这就造就了数据的扩增 。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/qq_35752161/article/details/110875040 。
最后此篇关于Pytorch DataLoader shuffle验证方式的文章就讲到这里了,如果你想了解更多关于Pytorch DataLoader shuffle验证方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
32
4
0
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 已关闭 3 年前。 此帖子于去年编辑
据我所知，在使用 GPU 训练和验证模型时，GPU 内存主要用于加载数据，向前和向后。据我所知，我认为 GPU 内存使用应该相同 1) 训练前，2) 训练后，3) 验证前，4) 验证后。但在我的例子中
我正在尝试在 PyTorch 中将两个复数矩阵相乘，看起来 the torch.matmul functions is not added yet to PyTorch library for com
我正在尝试定义二分类问题的损失函数。但是，目标标签不是硬标签0，1，而是0~1之间的一个 float 。 Pytorch 中的 torch.nn.CrossEntropy 不支持软标签，所以我想自己写
我正在尝试让 PyTorch 与 DataLoader 一起工作，据说这是处理小批量的最简单方法，在某些情况下这是获得最佳性能所必需的。 DataLoader 需要一个数据集作为输入。 大多数关于 D
Pytorch Dataloader 的迭代顺序是否保证相同(在温和条件下)？ 例如: dataloader = DataLoader(my_dataset, batch_size=4,
PyTorch 的负对数似然损失，nn.NLLLoss定义为: 因此，如果以单批处理的标准重量计算损失，则损失的公式始终为: -1 * (prediction of model for correct
在PyTorch中，new_ones()与ones()有什么区别。例如， x2.new_ones(3,2, dtype=torch.double) 与 torch.ones(3,2, dtype=to
假设我有一个矩阵 src带形状(5, 3)和一个 bool 矩阵 adj带形状(5, 5)如下， src = tensor([[ 0, 1, 2], [ 3, 4,
我想知道如果不在第 4 行中使用“for”循环，下面的代码是否有更有效的替代方案？ import torch n, d = 37700, 7842 k = 4 sample = torch.cat([
我有三个简单的问题。 如果我的自定义损失函数不可微会发生什么？ pytorch 会通过错误还是做其他事情？ 如果我在我的自定义函数中声明了一个损失变量来表示模型的最终损失，我应该放 requires_
我想知道 PyTorch Parameter 和 Tensor 的区别？ 现有answer适用于使用变量的旧 PyTorch？ 最佳答案 这就是 Parameter 的全部想法。类(附加)在单个图像中
给定以下张量(这是网络的结果 [注意 grad_fn]): tensor([121., 241., 125., 1., 108., 238., 125., 121., 13., 117., 12
什么是__constants__在 pytorch class Linear(Module):定义于 https://pytorch.org/docs/stable/_modules/torch/nn
我在哪里可以找到pytorch函数conv2d的源代码？ 它应该在 torch.nn.functional 中，但我只找到了 _add_docstr 行， 如果我搜索conv2d。我在这里看了: ht
如 documentation 中所述在 PyTorch 中，Conv2d 层使用默认膨胀为 1。这是否意味着如果我想创建一个简单的 conv2d 层，我必须编写 nn.conv2d(in_chann
我阅读了 Pytorch 的源代码，发现它没有实现 convolution_backward 很奇怪。函数，唯一的 convolution_backward_overrideable 函数是直接引发错
我对编码真的很陌生，现在我正在尝试将我的标签变成一种热门编码。我已经完成将 np.array 传输到张量，如下所示 tensor([4., 4., 4., 4., 4., 4., 4., 4., 4.
我正在尝试实现 text classification model使用CNN。据我所知，对于文本数据，我们应该使用一维卷积。我在 pytorch 中看到了一个使用 Conv2d 的示例，但我想知道如何
我有一个多标签分类问题，我正试图用 Pytorch 中的 CNN 解决这个问题。我有 80,000 个训练示例和 7900 个类；每个示例可以同时属于多个类，每个示例的平均类数为 130。 问题是我的
我是一名优秀的程序员,十分优秀！