个人中心
gpt4 book ai didi

解决pytorch load huge dataset(大数据加载)

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章解决pytorch load huge dataset(大数据加载)由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

问题

最近用pytorch做实验时，遇到加载大量数据的问题。实验数据大小在400Gb，而本身机器的memory只有256Gb，显然无法将数据一次全部load到memory.

解决方法

首先自定义一个MyDataset继承torch.utils.data.Dataset，然后将MyDataset的对象feed in torch.utils.data.DataLoader()即可.

MyDataset在__init__中声明一个文件对象，然后在__getitem__中缓慢读取数据，这样就不会一次把所有数据加载到内存中了。训练数据存放在train.txt中，每一行是一条数据记录.

import torch.utils.data as Datafrom tqdm import tqdmclass MyDataset(Data.Dataset):	def __init__(self,filepath):		number = 0		with open(filepath,"r") as f:			# 获得训练数据的总行数			for _ in tqdm(f,desc="load training dataset"):				number+=1		self.number = number		self.fopen = open(filepath,"r")	def __len__(self):		return self.number	def __getitem__(self,index):		line = self.fopen.__next__()		# 自定义transform()对训练数据进行预处理		data = transform(line)		return datatrain_dataset = MyDataset(filepath = "train.txt")training_data = Data.DataLoader(dataset=train_dataset, batch_size=32,num_workers=1)

注意

1、num_workers只能设置为1。因为MyDataset初始化时只有一个文件对象，在dataloader时num_workers=1只用一个线程去操作文件对象读取数据。如果num_workers>1, 会出错，多个线程同时操作同一个文件对象，得到的数据并不是你想要的.

2、每一个epoch结束以后，需要重新声明train_dataset和training_data。因为一个epoch结束以后，文件对象已经指向文件末尾，下一个epoch取数据时，什么也得不到.

3、因为这里__getitem__()只是顺序的从文件中取出一行，而与index无关，那么在DataLoader时，即使参数shuffle指定为True，得到的数据依然是顺序的，即该方法无法shuffle数据.

补充：Pytorch加载自己的数据集(使用DataLoader读取Dataset) 。

1. 我们经常可以看到Pytorch加载数据集会用到官方整理好的数据集

很多时候我们需要加载自己的数据集，这时候我们需要使用Dataset和DataLoader 。

Dataset：是被封装进DataLoader里，实现该方法封装自己的数据和标签.

DataLoader：被封装入DataLoaderIter里，实现该方法达到数据的划分.

2.Dataset

阅读源码后，我们可以指导，继承该方法必须实现两个方法:

_getitem_() 。

_len_() 。

因此，在实现过程中我们测试如下:

import torchimport numpy as np# 定义GetLoader类，继承Dataset方法，并重写__getitem__()和__len__()方法class GetLoader(torch.utils.data.Dataset):	# 初始化函数，得到数据    def __init__(self, data_root, data_label):        self.data = data_root        self.label = data_label    # index是根据batchsize划分数据后得到的索引，最后将data和对应的labels进行一起返回    def __getitem__(self, index):        data = self.data[index]        labels = self.label[index]        return data, labels    # 该函数返回数据大小长度，目的是DataLoader方便划分，如果不知道大小，DataLoader会一脸懵逼    def __len__(self):        return len(self.data)# 随机生成数据，大小为10 * 20列source_data = np.random.rand(10, 20)# 随机生成标签，大小为10 * 1列source_label = np.random.randint(0,2,(10, 1))# 通过GetLoader将数据进行加载，返回Dataset对象，包含data和labelstorch_data = GetLoader(source_data, source_label)

3.DataLoader

提供对Dataset的操作，操作如下:

torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last，num_workers)

参数含义如下:

dataset： 加载torch.utils.data.Dataset对象数据 。

batch_size： 每个batch的大小 。

shuffle：是否对数据进行打乱 。

drop_last：是否对无法整除的最后一个datasize进行丢弃 。

num_workers：表示加载的时候子进程数 。

因此，在实现过程中我们测试如下（紧跟上述用例）:

from torch.utils.data import DataLoader# 读取数据datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)

此时，我们的数据已经加载完毕了，只需要在训练过程中使用即可.

4.查看数据

我们可以通过迭代器（enumerate）进行输出数据，测试如下:

for i, data in enumerate(datas): # i表示第几个batch， data表示该batch对应的数据，包含data和对应的labels    print("第 {} 个Batch {}".format(i, data))

  。

输出结果如下图:

解决pytorch load huge dataset(大数据加载)

结果说明：由于数据的是10个，batchsize大小为6，且drop_last=False，因此第一个大小为6，第二个为4。每一个batch中包含data和对应的labels.

当我们想取出data和对应的labels时候，只需要用下表就可以啦，测试如下:

# 表示输出数据print(data[0])# 表示输出标签print(data[1])

结果如图:

解决pytorch load huge dataset(大数据加载)

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/u011550545/article/details/87842760 。

最后此篇关于解决pytorch load huge dataset(大数据加载)的文章就讲到这里了,如果你想了解更多关于解决pytorch load huge dataset(大数据加载)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

27 4 0
文章推荐： Python开发加薪利器之Docker的使用实践
文章推荐： 让人开开心心的朋友圈背景图 难得一身武功喜欢就要大胆往前冲
文章推荐： 超级温柔的图片静物很治愈心灵的 对生命而言接纳才是最好的温柔
文章推荐： 解决pytorch rnn 变长输入序列的问题
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com