个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
63
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章解决pytorch trainloader遇到的多进程问题由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
pytorch中尝试用多进程加载训练数据集，源码如下:
|
1
|
trainloader
=
torch.utils.data.DataLoader(trainset, batch_size
=
4
, shuffle
=
True
, num_workers
=
3
)
|
结果报错:
RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. 。
This probably means that you are not using fork to start your child processes and you have forgotten to use the proper idiom in the main module
if __name__ == '__main__': freeze_support() ... 。
The "freeze_support()" line can be omitted if the program is not going to be frozen to produce an executable. 。
从报错信息可以看到，当前进程在运行可执行代码时，产生了一个新进程。这可能意味着您没有使用fork来启动子进程或者是未在主模块中正确使用.
后来经过查阅发现了原因，因为windows系统下默认用spawn方法部署多线程，如果代码没有受到__main__模块的保护，新进程都认为是要再次运行的代码，将尝试再次执行与父进程相同的代码，生成另一个进程，依此类推，直到程序崩溃.
把调用多进程的代码放到__main__模块下即可.
|
1
2
3
4
|
if
__name__
=
=
'__main__'
:
transform
=
transforms.Compose([transforms.ToTensor(), transforms.Normalize((
0.5
,
0.5
,
0.5
), (
0.5
,
0.5
,
0.5
))])
trainset
=
torchvision.datasets.CIFAR10(root
=
'./data'
, train
=
True
, download
=
True
, transform
=
transform)
trainloader
=
torch.utils.data.DataLoader(trainset, batch_size
=
4
, shuffle
=
True
, num_workers
=
3
)
|
补充：pytorch-Dataloader多进程使用出错 。
使用Dataloader进行多进程数据导入训练时，会因为多进程的问题而出错 。
dataloader = DataLoader(transformed_dataset, batch_size=4,shuffle=True, num_workers=4) 。
其中参数num_works=表示载入数据时使用的进程数，此时如果参数的值不为0而使用多进程时会出现报错 。
RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child processes and you have forgotten to use the proper idiom in the main module: if __name__ == '__main__': freeze_support() ... The "freeze_support()" line can be omitted if the program is not going to be frozen to produce an executable. 。
此时在数据的调用之前加上if __name__ == '__main__':即可解决问题 。
|
1
2
3
|
if
__name__
=
=
'__main__'
:
#这个地方可以解决多线程的问题
for
i_batch, sample_batched
in
enumerate
(dataloader):
|
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/zhang123454lulu/article/details/83374860 。
最后此篇关于解决pytorch trainloader遇到的多进程问题的文章就讲到这里了,如果你想了解更多关于解决pytorch trainloader遇到的多进程问题的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
63
4
0
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 已关闭 3 年前。 此帖子于去年编辑
据我所知，在使用 GPU 训练和验证模型时，GPU 内存主要用于加载数据，向前和向后。据我所知，我认为 GPU 内存使用应该相同 1) 训练前，2) 训练后，3) 验证前，4) 验证后。但在我的例子中
我正在尝试在 PyTorch 中将两个复数矩阵相乘，看起来 the torch.matmul functions is not added yet to PyTorch library for com
我正在尝试定义二分类问题的损失函数。但是，目标标签不是硬标签0，1，而是0~1之间的一个 float 。 Pytorch 中的 torch.nn.CrossEntropy 不支持软标签，所以我想自己写
我正在尝试让 PyTorch 与 DataLoader 一起工作，据说这是处理小批量的最简单方法，在某些情况下这是获得最佳性能所必需的。 DataLoader 需要一个数据集作为输入。 大多数关于 D
Pytorch Dataloader 的迭代顺序是否保证相同(在温和条件下)？ 例如: dataloader = DataLoader(my_dataset, batch_size=4,
PyTorch 的负对数似然损失，nn.NLLLoss定义为: 因此，如果以单批处理的标准重量计算损失，则损失的公式始终为: -1 * (prediction of model for correct
在PyTorch中，new_ones()与ones()有什么区别。例如， x2.new_ones(3,2, dtype=torch.double) 与 torch.ones(3,2, dtype=to
假设我有一个矩阵 src带形状(5, 3)和一个 bool 矩阵 adj带形状(5, 5)如下， src = tensor([[ 0, 1, 2], [ 3, 4,
我想知道如果不在第 4 行中使用“for”循环，下面的代码是否有更有效的替代方案？ import torch n, d = 37700, 7842 k = 4 sample = torch.cat([
我有三个简单的问题。 如果我的自定义损失函数不可微会发生什么？ pytorch 会通过错误还是做其他事情？ 如果我在我的自定义函数中声明了一个损失变量来表示模型的最终损失，我应该放 requires_
我想知道 PyTorch Parameter 和 Tensor 的区别？ 现有answer适用于使用变量的旧 PyTorch？ 最佳答案 这就是 Parameter 的全部想法。类(附加)在单个图像中
给定以下张量(这是网络的结果 [注意 grad_fn]): tensor([121., 241., 125., 1., 108., 238., 125., 121., 13., 117., 12
什么是__constants__在 pytorch class Linear(Module):定义于 https://pytorch.org/docs/stable/_modules/torch/nn
我在哪里可以找到pytorch函数conv2d的源代码？ 它应该在 torch.nn.functional 中，但我只找到了 _add_docstr 行， 如果我搜索conv2d。我在这里看了: ht
如 documentation 中所述在 PyTorch 中，Conv2d 层使用默认膨胀为 1。这是否意味着如果我想创建一个简单的 conv2d 层，我必须编写 nn.conv2d(in_chann
我阅读了 Pytorch 的源代码，发现它没有实现 convolution_backward 很奇怪。函数，唯一的 convolution_backward_overrideable 函数是直接引发错
我对编码真的很陌生，现在我正在尝试将我的标签变成一种热门编码。我已经完成将 np.array 传输到张量，如下所示 tensor([4., 4., 4., 4., 4., 4., 4., 4., 4.
我正在尝试实现 text classification model使用CNN。据我所知，对于文本数据，我们应该使用一维卷积。我在 pytorch 中看到了一个使用 Conv2d 的示例，但我想知道如何
我有一个多标签分类问题，我正试图用 Pytorch 中的 CNN 解决这个问题。我有 80,000 个训练示例和 7900 个类；每个示例可以同时属于多个类，每个示例的平均类数为 130。 问题是我的
我是一名优秀的程序员,十分优秀！