gpt4 book ai didi

pytorch - CUDA 与 DataParallel : Why the difference?

转载 作者:行者123 更新时间:2023-12-04 14:39:51 25 4
gpt4 key购买 nike

我有一个简单的神经网络模型,我应用 cuda()DataParallel()在模型上,如下所示。

model = torch.nn.DataParallel(model).cuda()

或者,
model = model.cuda()

当我不使用 DataParallel 时,只需将我的模型转换为 cuda() ,我需要将批量输入显式转换为 cuda()然后交给模型,否则返回如下错误。

torch.index_select received an invalid combination of arguments - got (torch.cuda.FloatTensor, int, torch.LongTensor)



但是使用 DataParallel,代码运行良好。其余的都是一样的。为什么会发生这种情况?为什么当我使用 DataParallel 时,我不需要将批量输入显式转换为 cuda() ?

最佳答案

因为,DataParallel 允许 CPU 输入,因为第一步是将输入传输到适当的 GPU。

信息来源:https://discuss.pytorch.org/t/cuda-vs-dataparallel-why-the-difference/4062/3

关于pytorch - CUDA 与 DataParallel : Why the difference?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44580450/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com