pytorch下大型数据集(大型图片)的导入方式-6ren

pytorch下大型数据集(大型图片)的导入方式

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章pytorch下大型数据集(大型图片)的导入方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

使用torch.utils.data.Dataset类处理图片数据时，。

1. 我们需要定义三个基本的函数，以下是基本流程。

 
    ? 
   
         class 
         our_datasets(Data.Dataset): 
        
         def 
         __init__( 
         self 
         ,root,is_resize 
         = 
         False 
         ,is_transfrom 
         = 
         False 
         ): 
        
         #这里只是个参考。按自己需求写。 
        
         self 
         .root 
         = 
         root 
        
         self 
         .is_resize 
         = 
         is_resize 
        
         self 
         .is_transfrom 
         = 
         is_transfrom 
        
         self 
         .imgs_list 
         = 
         ... 
         #这里建议保存的是 图片的路径 而不是 图片的数据 
        
         self 
         .labs_list 
         = 
         ... 
        
         def 
         __getitem__( 
         self 
         , index): 
        
         img_path,lab 
         = 
         self 
         .imgs_list[index], 
         self 
         .labs_list[index] 
        
         #这里使用PIL库读取图片数据. 
        
         img_data  
         = 
         Image. 
         open 
         (img_path).convert( 
         'RGB' 
         ) 
        
         #这里看自己需要，可以不要 
        
         if 
         self 
         .is_resize: 
        
         img_data  
         = 
         img_data.resize(( 
         self 
         .is_resize[ 
         0 
         ],  
         self 
         .is_resize[ 
         1 
         ]), Image.ANTIALIAS) 
        
         #但是数据转换建议加上，很多时候都会用到 
        
         if 
         self 
         .is_transfrom: 
        
         img_data 
         = 
         self 
         .is_transfrom(img_data) 
        
         return 
         img_data,lab 
        
         def 
         __len__( 
         self 
         ): 
        
         return 
         len 
         ( 
         self 
         .imgs_list)

这里，我将读取图片的步骤放到 __getitem__ ，是因为这样放的话，对内存的要求会降低很多，我们只是将数据的路径导入了内存中，当需要读取这个图片数据时，再读取，这样更像是随用随取。如果将这部分放到 __init__ 里面，会一次将图片数据都加载到内存中，如果数据量太大，会直接卡死.

2.Dataset 类返回的数据类型是与你读取时的类型一致的。但是在 pytorch使用时，会提示。

 
    ? 
   
         TypeError: batch must contain tensors, numbers, dicts  
         or 
         lists; found < 
         class 
         'PIL.Image.Image' 
         >

通常，在数据了不大时，我一般都是在读取数据后加一句，转换成 numpy.array类型.

但是，在处理较大型的数据时，这样会很慢.

这时候，我建议直接使用 torchvision来进行数据转换.

 
    ? 
   
         is_transfrom 
         = 
         torchvision.transforms.ToTensor()

将上例代码加入 Dataset类中，这样就会快很多.

以上这篇pytorch下大型数据集(大型图片)的导入方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/qq_36285997/article/details/82463959 。

最后此篇关于pytorch下大型数据集(大型图片)的导入方式的文章就讲到这里了,如果你想了解更多关于pytorch下大型数据集(大型图片)的导入方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Pyecharts绘制全球流向图的示例代码

文章推荐： Python 实现训练集、测试集随机划分

文章推荐： VR体验真实触感不再是梦？美大学开发出“木偶”配件

文章推荐： SteamVR将放弃支持苹果macOS系统：专注Windows 10和Linux

javascript - 获取数据:图片/png；base64，{{图片}} net::ERR_INVALID_URL
我想使用 Angular.js 转换从服务器获取的图像数据(用于 ionic 框架)，我使用了这段代码: $http.post(link, { token: token,
javascript - IOS设备隐藏 "Play Store"图片，Android设备隐藏 "App Store"图片
我正在为我的应用制作一个登陆页面。如果它们在 iOS 设备上，我希望它只显示“App Store”图标，但在 Android 上隐藏它。如果它们在 Android 设备上，则只有“Play Store
JavaScript 图片
如何在同一页面上多次显示同一张图片？ function xdf(){ for (i=0;ihello world'); } } 此代码显示“hello world”10 次。我想要同样的东西，
css 图片
您好，我有一个 1px 的 png 文件，我试图将其设置为两个水平相邻的 div 的背景图像。html 和 css 如下:- hi hello css是这样的 div { width: 50%
image - PrestaShop 图片
我的 PHP 项目安装了 Prestashop 1.4.9.0。当我添加一个新产品时，我上传了一个PNG格式的图片，但是当它在客户端显示时，图片是JPG格式的。如何保留图片扩展名？最佳答案在后台
r - 发送表达式给网站返回动态结果(图片)
我用 http://www.regexper.com查看一个象形表示正则表达式很多。我想要一种理想的方法: 向站点发送正则表达式打开显示该表达式的站点例如，让我们使用正则表达式:"\\s*foo[
电子邮件问题中的 Phpmailer 图片
我不知道为什么在 MAC OS X (Mail 6.2) 的邮件客户端中图像显示如下: 和其他邮件客户端，如 gmail、outlook 或 private，图像是正确的，看起来像这样: PHP邮件程
javascript - 使用XPCOM上传网页文件/图片
我正在使用此处找到的示例。 Mozilla developers 我对这个例子很感兴趣。 function upload(postUrl, fieldName, filePath) { var f
电子邮件问题中的 Phpmailer 图片
我不知道为什么在 MAC OS X (Mail 6.2) 的邮件客户端中图像显示如下: 和其他邮件客户端，如 gmail、outlook 或 private，图像是正确的，看起来像这样: PHP邮件程
java - 如何根据javafx中的复选框选择生成按钮(图片)
我的问题是如何根据用户在javafx中选择的复选框和/或单选按钮生成带有汽车图片设置的按钮？我正在用汽车图片模拟汽车经销商网站。用户应该能够通过单击复选框和/或单选按钮选择来过滤显示的图片。我首先
java - 开发支持多语言的java客户端时优化jar文件大小(图片)
我正在开发Java客户端，它应该支持多种语言。为了翻译文本，我使用 Java ResourceBoundle，它工作正常。现在问题出在图像上。客户端应加载大约 50 张图像，这些图像是棋盘游戏的特定
jquery 褪色图片
我对 jQuery 还很陌生，但我正在寻找一个简单的脚本，通过淡入和淡出的方式在标题中循环 3 或 4 个背景图像。它们是透明的 png，因此我尝试过的许多 slider 都不起作用。有什么想法吗？
jQuery:选择器问题(图片)
我有一个 HTML 文档，其中包含本地文件的图像，例如: ios - 物理主体大于它分配给的纹理(图片)
我的 Sprite “physicsBody ”属性之一出现问题。我已经放置了physicsBody节点“barn ”，直接位于 non-physicsBody 之上节点“mound”没有任何问题。
c# - 获取图像的特定部分(图片)
我想剪切图片的特定部分并用它来将剪切的图像与存储在 HDD 中的另一个图像进行比较。问题是我不知道如何获取源图像的特定部分。我知道要裁剪的图像的位置 (X,Y)。最佳答案这将加载原始版本并创建
Javascript 图片 uploader
如何使用裁剪实用程序在 javascript 中实现图像 uploader 。你如何通过 AJAX 提交图像文件？解决方案是否跨域兼容？最佳答案要实现具有裁剪功能的图片上传小部件，您必须: 将图像
来自图库方向的 Android 图片
public void onActivityResult(int requestCode, int resultCode, Intent data) { super.onActivityRes
java - 一个国家的可点击浮雕(图片)
我想在我的 android 应用程序中显示一个国家的图片。国家必须按地区划分。因此，当用户单击特定区域时，应打开特定屏幕。区域也应该用线分隔，以便用户可以看到区域的开始/结束位置。这是一个国家的例子
php - 在php中上传文件时发生错误(图片)
首先我想对这个问题表示歉意，因为我知道已经有很多人问过这个问题了。但我搜索的所有答案都没有解决我的问题。所以希望您考虑这个问题并帮助我解决这个问题。所以基本上我正在尝试上传图像文件，当我提交它时，会
MySQL:查询结果[图片]
我几乎有了想要的数据...但需要帮助过滤它。 (图在底部) 下面的查询返回状态为 Member-id5 的所有记录，但我需要对其进行过滤。例如:如果我对等做了一个简单的查询。 (exp_channel

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

pytorch下大型数据集(大型图片)的导入方式