解决pytorch load huge dataset(大数据加载)

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 27 4

import torch.utils.data as Datafrom tqdm import tqdmclass MyDataset(Data.Dataset):	def __init__(self,filepath):		number = 0		with open(filepath,"r") as f:			# 获得训练数据的总行数			for _ in tqdm(f,desc="load training dataset"):				number+=1		self.number = number		self.fopen = open(filepath,"r")	def __len__(self):		return self.number	def __getitem__(self,index):		line = self.fopen.__next__()		# 自定义transform()对训练数据进行预处理		data = transform(line)		return datatrain_dataset = MyDataset(filepath = "train.txt")training_data = Data.DataLoader(dataset=train_dataset, batch_size=32,num_workers=1)

import torchimport numpy as np# 定义GetLoader类，继承Dataset方法，并重写__getitem__()和__len__()方法class GetLoader(torch.utils.data.Dataset):	# 初始化函数，得到数据    def __init__(self, data_root, data_label):        self.data = data_root        self.label = data_label    # index是根据batchsize划分数据后得到的索引，最后将data和对应的labels进行一起返回    def __getitem__(self, index):        data = self.data[index]        labels = self.label[index]        return data, labels    # 该函数返回数据大小长度，目的是DataLoader方便划分，如果不知道大小，DataLoader会一脸懵逼    def __len__(self):        return len(self.data)# 随机生成数据，大小为10 * 20列source_data = np.random.rand(10, 20)# 随机生成标签，大小为10 * 1列source_label = np.random.randint(0,2,(10, 1))# 通过GetLoader将数据进行加载，返回Dataset对象，包含data和labelstorch_data = GetLoader(source_data, source_label)

torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last，num_workers)

from torch.utils.data import DataLoader# 读取数据datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)

for i, data in enumerate(datas): # i表示第几个batch， data表示该batch对应的数据，包含data和对应的labels    print("第 {} 个Batch {}".format(i, data))

# 表示输出数据print(data[0])# 表示输出标签print(data[1])

27 4 0

• 解决@Cacheable在同一个类中方法调用不起作用的问题

  @Cacheable在同一类中方法调用无效 上述图片中，同一个类中genLiveBullets()方法调用同类中的queryLiveByRoom()方法，这样即便标识了Cacheable标签，

• 解决@Transaction注解导致动态切换更改数据库失效问题

  目录 @Transaction注解导致动态切换更改数据库失效 使用场景 遇到问题 解决 @Transaction

• 解决@RequestBody使用不能class类型匹配的问题

  @RequestBody不能class类型匹配 在首次第一次尝试使用@RequestBody注解 开始加载字符串使用post提交（貌似只能post），加Json数据格式传输的时候，

• 解决@Autowired注入static接口的问题

  目录 @Autowired注入static接口问题 @Autowired自动注入普通service很方便 但是如果注入static修饰的serv

• 解决@RequestBody部分属性丢失的问题

  目录 @RequestBody部分属性丢失 问题描述 JavaBean实现 Controller实现

• 解决@PathVariable参数接收不完整的问题

  目录 解决@PathVariable参数接收不完整的问题 今天遇到的问题是： 解决办法： @PathVariable接受的参

• 解决@Transactional注解事务不回滚不起作用的问题

  这几天在项目里面发现我使用@Transactional注解事务之后，抛了异常居然不回滚。后来终于找到了原因。 如果你也出现了这种情况，可以从下面开始排查。 1、特性 先来了解一下@Trans

• 解决@PathVariable对于特殊字符截断的问题

  概述： ? 1

• 解决@Around对静态方法不生效的问题

  场景： 在处理定时任务时，由于这几个方法都是静态方法，在aop的切面中使用@Around注解，进行监控方法调用是否有异常。 发现aop没有生效。 代码如下：

• 解决.net项目中上传的图片或者文件太大无法上传问题

  最近做项目的时候  用户提出要上传大图片  一张图片有可能十几兆  本来用的第三方的上传控件  有限制图片上传大小的设置  以前设置的是2M&nb

• azure - 解决 SystemForCrossDomainIdentityManagementBadResponse

  我已经实现了这个SCIM reference code在我们的应用程序中。 我实现的代码确实通过了此postman link中存在的所有用户测试集合。 。我的 SCIM Api 也被 Azure 接受

• javascript - 等待 ".then"解决

  我一直对“然后”不被等待的行为感到困扰，我明白其原因。然而，我仍然需要绕过它。这是我的用例。 doWork(family) { return doWork1(family)

• javascript - 解决 promise

  我正在尝试查找 channel 中的消息是否仍然存在，但是，我不确定如何解决 promise ，查看其他答案和文档，我可以看到它可能是通过函数实现的，但我是不完全确定如何去做。我希望能在这方面获得一些

• java - 解决 IllegalAccessError

  我有以下情况: 同一工作区中的 2 个 Eclipse 项目:Apa 和 Bepa(为简洁起见，使用化名)。 Apa 项目引用(包括)Bepa 项目。 我在 Bepa 有一个类 X，具有公共(publ

• java - 解决 NoClassDefFoundError

  这个问题已经有答案了: Why am I getting a NoClassDefFoundError in Java? (31 个回答) 已关闭 6 年前。 我正在努力学习 spring。所以我输入

• java - 解决 ConcurrentModificationException

  我正在写一个小游戏，屏幕上有许多圆圈在移动。 我在两个线程中管理圈子，如下所示: public void run() { int stepCount = 0; int dx;

• python - 解决()执行中止

  我在使用 Sympy 求解方程时遇到问题。当我运行代码时，例如: 打印(校正(10)) 我希望它打印一个数字 f。相反，它给我错误:执行中止。 def correction(r): from

• css - div布局问题。解决

  好吧，我制作的每个页面都有这个问题。我不确定我做错了什么，但我所有的页面都不适用于所有分辨率。可能是因为我使用的是宽屏？大声笑我不确定，但在小于宽屏分辨率的情况下，它永远不会看起来正确。它的某些部分你

• c# - 解决 ||检查字符串时的运算符

  我正在尝试像这样进行一个非常简单的文化 srting 检查 if(culture.ToUpper() == "ES-ES" || "IT-IT") { //do something } else

• linux - 解决.bashrc的最佳方法是什么？

  Closed. This question is off-topic. It is not currently accepting answers. Learn more。 想改进这个问题吗？Upda