deep-learning - 除了 "cuda"或 "hip"或 "OpenCL"之外，你能加速 Torch DL 训练吗？

Question

我注意到 torch.device可以接受一系列参数，确切地说是 cpu , cuda , mkldnn , opengl , opencl , ideep , hip , msnpu .
然而，在训练深度学习模型时，我只见过 cuda或 cpu正在使用。很多时候代码看起来像这样

if torch.cuda.is_available():
    device = torch.device("cuda")
else:
    device = torch.device("cpu")

我从未见过任何其他人正在使用，并且想知道它们是否可以使用以及如何使用。我相信最新的带有 AMD 显卡的 MacBook 应该可以使用 "hip" ，但这是真的吗？训练速度是否会与使用一个 CUDA GPU 的速度相似？如果不是， torch.device 中的意义何在？如果它们实际上无法使用，是否接受这么多选项？

Answer 1

如果您想使用 GPU 进行深度学习，可以在 CUDA 和 CUDA 之间进行选择...
更广泛的答案，是的，有 AMD 的时髦和一些 OpenCL 实现:

AMD 很时髦 - 与 pytorch、hipCaffe、tensorflow 端口类似的 CUDA 接口(interface)，但是

AMD 的 hip/rocm 仅在 Linux 上受支持 - rocm 不支持 Windows 或 Mac OS

即使你想使用带有 AMD GPU + ROCM 的 Linux，你也必须坚持使用 GCN derete 设备(即 rx 580、Vega 56/64 或 Radeon VII 之类的卡)，没有对 RDNA 设备的 hip/rocm 支持(一年自发布以来)并且看起来不会很快，APU 也不受臀部支持。

只有一个支持 OpenCL 的流行框架是 Caffe 和 Keras+PlaidML。但

咖啡的问题:

Caffe 似乎不再被积极开发，而且按照今天的标准

已经过时了。

Caffe OpenCL 实现的性能大约是 nVidia 的 cuDNN 和 AMD 的 MIOpen 提供的性能的 1/2，但它工作得很好，我在很多情况下都使用它。

最新版本的性能更高https://github.com/BVLC/caffe/issues/6585但至少你可以运行一个可以在

后面进行多次更改的版本。

Caffe/OpenCL 也可以工作，我仍然为 OpenCL over AMD 手动修复了一些错误。 https://github.com/BVLC/caffe/issues/6239

Keras/格子-ML

就访问较低级别功能的能力而言，Keras 本身的框架要弱得多

PlaidML 性能仍然是优化的 NVidia 的 cuDNN 和 AMD 的 MIOpen-ROCM 的 1/2 - 到 1/3 - 在我做的测试中比 caffe OpenCL 更慢

keras 的非 TF 后端的 future 尚不清楚，因为 2.4 它需要 TF...

底线:

如果你有 GCN 独立 AMD GPU 并且你运行 Linux，你可以使用 ROCM+Hip。但它不如 CUDA

稳定

您可以尝试 OpenCL Caffe 或 Keras-PlaidML——它可能会比其他解决方案更慢且最佳，但使其发挥作用的机会更大。

2021-09-14 编辑:有一个新项目 dlprimitives:
https://github.com/artyom-beilis/dlprimitives
它比 Caffe-OpenCL 和 Keras 具有更好的性能 - 与 Keras/TF2 相比，它的训练性能约为 75%，但是它处于早期开发阶段，并且在这一点上具有比 Caffe/Keras-PlaidML 更有限的层集
与 pytorch 的连接正在进行中，并有一些初步结果: https://github.com/artyom-beilis/pytorch_dlprim
免责声明:我是这个项目的作者