个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
32
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章pytorch中.to(device) 和.cuda()的区别说明由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
|
1
2
3
4
5
6
|
device
=
torch.device(
"cuda:0"
if
torch.cuda.is_available()
else
"cpu"
)
# 单GPU或者CPU
model.to(device)
#如果是多GPU
if
torch.cuda.device_count() >
1
:
model
=
nn.DataParallel(model，device_ids
=
[
0
,
1
,
2
])
model.to(device)
|
|
1
2
3
4
5
6
7
8
9
|
#指定某个GPU
os.environ[
'CUDA_VISIBLE_DEVICE'
]
=
'1'
model.cuda()
#如果是多GPU
os.environment[
'CUDA_VISIBLE_DEVICES'
]
=
'0,1,2,3'
device_ids
=
[
0
,
1
,
2
,
3
]
net
=
torch.nn.Dataparallel(net, device_ids
=
device_ids)
net
=
torch.nn.Dataparallel(net)
# 默认使用所有的device_ids
net
=
net.cuda()
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
class
DataParallel(Module):
def
__init__(
self
, module, device_ids
=
None
, output_device
=
None
, dim
=
0
):
super
(DataParallel,
self
).__init__()
if
not
torch.cuda.is_available():
self
.module
=
module
self
.device_ids
=
[]
return
if
device_ids
is
None
:
device_ids
=
list
(
range
(torch.cuda.device_count()))
if
output_device
is
None
:
output_device
=
device_ids[
0
]
|
补充：Pytorch使用To方法编写代码在不同设备(CUDA/CPU)上兼容(device-agnostic) 。
以前版本的PyTorch编写device-agnostic代码非常困难（即，在不修改代码的情况下在CUDA可以使用或者只能使用CPU的设备上运行）.
即设备无关，可以理解为无论什么设备都可以运行您编写的代码。(PS:个人理解，我没有在网上找到专业解释) 。
PyTorch 0.4.0通过两种方法使代码兼容变得非常容易:
张量的device属性为所有张量提供了torch.device设备。（注意：get_device仅适用于CUDA张量） 。
to方法Tensors和Modules可用于容易地将对象移动到不同的设备（代替以前的cpu()或cuda()方法） 。
我们推荐以下模式:
|
1
2
3
4
5
6
7
|
# 开始脚本，创建一个张量
device
=
torch.device(
"cuda:0"
if
torch.cuda.is_available()
else
"cpu"
)
...
# 但是无论你获得一个新的Tensor或者Module
# 如果他们已经在目标设备上则不会执行复制操作
input
=
data.to(device)
model
=
MyModule(...).to(device)
|
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/weixin_43402775/article/details/109223794 。
最后此篇关于pytorch中.to(device) 和.cuda()的区别说明的文章就讲到这里了,如果你想了解更多关于pytorch中.to(device) 和.cuda()的区别说明的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
32
4
0
这是我关于 Stack Overflow 的第一个问题，这是一个很长的问题。 tl;dr 版本是:我如何使用 thrust::device_vector如果我希望它存储不同类型的对象 DerivedC
我已使用 cudaMalloc 在设备上分配内存并将其传递给内核函数。是否可以在内核完成执行之前从主机访问该内存？ 最佳答案 我能想到的在内核仍在执行时启动 memcpy 的唯一方法是在与内核不同的流
是否可以在同一节点上没有支持 CUDA 的设备的情况下编译 CUDA 程序，仅使用 NVIDIA CUDA Toolkit...？ 最佳答案 你的问题的答案是肯定的。 nvcc编译器驱动程序与设备的物
我不知道 cuda 不支持引用参数。我的程序中有这两个函数: __global__ void ExtractDisparityKernel ( ExtractDisparity& es)
我正在使用 CUDA 5.0。我注意到编译器将允许我在内核中使用主机声明的 int 常量。但是，它拒绝编译任何使用主机声明的 float 常量的内核。有谁知道这种看似差异的原因？ 例如，下面的代码可以
自从 CUDA 9 发布以来，显然可以将不同的线程和 block 分组到同一组中，以便您可以一起管理它们。这对我来说非常有用，因为我需要启动一个包含多个 block 的内核并等待所有 block 都同
我需要在 CUDA 中执行三线性插值。这是问题定义: 给定三个点向量:x[nx]、y[ny]、z[nz] 和一个函数值矩阵func[nx][ny][nz]，我想在 x、y 范围之间的一些随机点处找到函
我认为由于 CUDA 可以执行 64 位 128 位加载/存储，因此它可能具有一些用于加/减/等的内在函数。像 float3 这样的向量类型，在像 SSE 这样更少的指令中。 CUDA 有这样的功能吗
我有一个问题，每个线程 block (一维)必须对共享内存内的一个数组进行扫描，并执行几个其他任务。 (该数组最多有 1024 个元素。) 有没有支持这种操作的好库？ 我检查了 Thrust 和 Cu
我对线程的形成和执行方式有很多疑惑。 首先，文档将 GPU 线程描述为轻量级线程。假设我希望将两个 100*100 矩阵相乘。如果每个元素都由不同的线程计算，则这将需要 100*100 个线程。但是，
我正在尝试自己解决这个问题，但我不能。 所以我想听听你的建议。 我正在编写这样的内核代码。 VGA 是 GTX 580。 xxxx >> (... threadNum ...) (note. Shar
查看 CUDA Thrust 代码中的内核启动，似乎它们总是使用默认流。我可以让 Thrust 使用我选择的流吗？我在 API 中遗漏了什么吗？ 最佳答案 我想在 Thrust 1.8 发布后更新 t
我想知道 CUDA 应用程序的扭曲调度顺序是否是确定性的。 具体来说，我想知道在同一设备上使用相同输入数据多次运行同一内核时，warp 执行的顺序是否会保持不变。如果没有，是否有任何东西可以强制对扭曲
一个 GPU 中可以有多少个 CUDA 网格？ 两个网格可以同时存在于 GPU 中吗？还是一台 GPU 设备只有一个网格？ Kernel1>(dst1, param1); Kernel1>(dst2,
如果我编译一个计算能力较低的 CUDA 程序，例如 1.3(nvcc 标志 sm_13)，并在具有 Compute Capability 2.1 的设备上运行它，它是否会利用 Compute 2.1
固定内存应该可以提高从主机到设备的传输速率(api 引用)。但是我发现我不需要为内核调用 cuMemcpyHtoD 来访问这些值，也不需要为主机调用 cuMemcpyDtoA 来读取值。我不认为这会奏
我希望对 CUDA C 中负载平衡的最佳实践有一些一般性的建议和说明，特别是: 如果经纱中的 1 个线程比其他 31 个线程花费的时间长，它会阻止其他 31 个线程完成吗？ 如果是这样，多余的处理能力
CUDA 中是否有像 opencl 一样的内置交叉和点积，所以 cuda 内核可以使用它？ 到目前为止，我在规范中找不到任何内容。 最佳答案 您可以在 SDK 的 cutil_math.h 中找到这些
有一些与我要问的问题类似的问题，但我觉得它们都没有触及我真正要寻找的核心。我现在拥有的是一种 CUDA 方法，它需要将两个数组定义到共享内存中。现在，数组的大小由在执行开始后读入程序的变量给出。因此，
经线是 32 根线。 32 个线程是否在多处理器中并行执行？ 如果 32 个线程没有并行执行，则扭曲中没有竞争条件。 在经历了一些例子后，我有了这个疑问。 最佳答案 在 CUDA 编程模型中，warp
我是一名优秀的程序员,十分优秀！