个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章解决pytorch DataLoader num_workers出现的问题由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
最近在学pytorch,在使用数据分批训练时在导入数据是使用了 DataLoader 在参数 num_workers的设置上使程序出现运行没有任何响应的结果 ，看看代码 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
import
torch
#导入模块
import
torch.utils.data as Data
BATCH_SIZE
=
8
#每一批的数据量
x
=
torch.linspace(
1
,
10
,
10
)
#定义X为 1 到 10 等距离大小的数
y
=
torch.linspace(
10
,
1
,
10
)
#转换成torch能识别的Dataset
torch_dataset
=
Data.TensorDataset( x,y)
#将数据放入 torch_dataset
loader
=
Data.DataLoader(
dataset
=
torch_dataset,
#将数据放入loader
batch_size
=
BATCH_SIZE,
#每个数据段大小为 BATCH_SIZE=5
shuffle
=
True
,
#是否打乱数据的排布
num_workers
=
2
#每次提取数据多进进程为2
)
for
epoch
in
range
(
3
):
for
step,(batch_x,batch_y)
in
enumerate
(loader):
print
(
'epoch'
,epoch,
'|step:'
,step,
" | batch_x"
,batch_x.numpy(),
'|batch_y:'
,batch_y.numpy())
|
（以上代码取莫烦python教学视频，教学视频中没有报错） 。
程序就停止成这样了 。
上网查询没有得到有用的东西，因为程序没有报错，就是没有任何反应，（没有反应可能跟电脑或者编译器有关，我使用的是anconda spyder）于是决定自己找找 。
期初我采用在语句后面加 print('1')检测程序停在了什么地方，（其实这是一种笨方法，在这里可以采用断点调试）程序停在了 for step,(batch_x,batch_y) in enumerate(loader)
我以为是enumerate的问题，查资料发现这就是一个可返回列表元素和键值的函数，不存在问题 。
继续排查，把目光放在了loader,于是查询了DataLoader的参数 。
DataLoader的函数定义如下:
|
1
2
3
|
DataLoader(dataset, batch_size
=
1
, shuffle
=
False
, sampler
=
None
,
num_workers
=
0
, collate_fn
=
default_collate, pin_memory
=
False
,
drop_last
=
False
)
|
1. dataset：加载的数据集(Dataset对象) 。
2. batch_size：batch size 。
3. shuffle:：是否将数据打乱 。
4. sampler： 样本抽样，后续会详细介绍 。
5. num_workers：使用多进程加载的进程数，0代表不使用多进程 。
6. collate_fn： 如何将多个样本数据拼接成一个batch，一般使用默认的拼接方式即可 。
7. pin_memory：是否将数据保存在pin memory区，pin memory中的数据转到GPU会快一些 。
8. drop_last：dataset中的数据个数可能不是batch_size的整数倍，drop_last为True会将多出来不足一个batch的数据丢弃 。
发现我所定义的几个参数只有num_workers嫌疑最大，于是将参数值改成了默认值 0，程序可以运行了，（一把老泪纵横） 。
看看进程是什么鬼 发现在这里好像没啥用（具体自己上网查查） 。
以上这篇解决pytorch DataLoader num_workers出现的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/weixin_42236288/article/details/80893882 。
最后此篇关于解决pytorch DataLoader num_workers出现的问题的文章就讲到这里了,如果你想了解更多关于解决pytorch DataLoader num_workers出现的问题的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
@Cacheable在同一类中方法调用无效 上述图片中，同一个类中genLiveBullets()方法调用同类中的queryLiveByRoom()方法，这样即便标识了Cacheable标签，
目录 @Transaction注解导致动态切换更改数据库失效 使用场景 遇到问题 解决 @Transaction
@RequestBody不能class类型匹配 在首次第一次尝试使用@RequestBody注解 开始加载字符串使用post提交（貌似只能post），加Json数据格式传输的时候，
目录 @Autowired注入static接口问题 @Autowired自动注入普通service很方便 但是如果注入static修饰的serv
目录 @RequestBody部分属性丢失 问题描述 JavaBean实现 Controller实现
目录 解决@PathVariable参数接收不完整的问题 今天遇到的问题是： 解决办法： @PathVariable接受的参
这几天在项目里面发现我使用@Transactional注解事务之后，抛了异常居然不回滚。后来终于找到了原因。 如果你也出现了这种情况，可以从下面开始排查。 1、特性 先来了解一下@Trans
概述： ? 1
场景： 在处理定时任务时，由于这几个方法都是静态方法，在aop的切面中使用@Around注解，进行监控方法调用是否有异常。 发现aop没有生效。 代码如下：
最近做项目的时候 用户提出要上传大图片 一张图片有可能十几兆 本来用的第三方的上传控件 有限制图片上传大小的设置 以前设置的是2M&nb
我已经实现了这个SCIM reference code在我们的应用程序中。 我实现的代码确实通过了此postman link中存在的所有用户测试集合。 。我的 SCIM Api 也被 Azure 接受
我一直对“然后”不被等待的行为感到困扰，我明白其原因。然而，我仍然需要绕过它。这是我的用例。 doWork(family) { return doWork1(family)
我正在尝试查找 channel 中的消息是否仍然存在，但是，我不确定如何解决 promise ，查看其他答案和文档，我可以看到它可能是通过函数实现的，但我是不完全确定如何去做。我希望能在这方面获得一些
我有以下情况: 同一工作区中的 2 个 Eclipse 项目:Apa 和 Bepa(为简洁起见，使用化名)。 Apa 项目引用(包括)Bepa 项目。 我在 Bepa 有一个类 X，具有公共(publ
这个问题已经有答案了: Why am I getting a NoClassDefFoundError in Java? (31 个回答) 已关闭 6 年前。 我正在努力学习 spring。所以我输入
我正在写一个小游戏，屏幕上有许多圆圈在移动。 我在两个线程中管理圈子，如下所示: public void run() { int stepCount = 0; int dx;
我在使用 Sympy 求解方程时遇到问题。当我运行代码时，例如: 打印(校正(10)) 我希望它打印一个数字 f。相反，它给我错误:执行中止。 def correction(r): from
好吧，我制作的每个页面都有这个问题。我不确定我做错了什么，但我所有的页面都不适用于所有分辨率。可能是因为我使用的是宽屏？大声笑我不确定，但在小于宽屏分辨率的情况下，它永远不会看起来正确。它的某些部分你
我正在尝试像这样进行一个非常简单的文化 srting 检查 if(culture.ToUpper() == "ES-ES" || "IT-IT") { //do something } else
Closed. This question is off-topic. It is not currently accepting answers. Learn more。 想改进这个问题吗？Upda
我是一名优秀的程序员,十分优秀！