gpt4 book ai didi

c++ - 使应用程序具有 CPU 和 GPU 计算后端的最佳方法是什么

转载 作者:塔克拉玛干 更新时间:2023-11-03 06:42:51 25 4
gpt4 key购买 nike

<分区>

我有一个应用程序涉及大量使用 Eigen 编写的矩阵乘法。我想为它制作一个 GPU 计算后端,同时保持仅在 CPU 上运行并在可用时由 MKL 加速的能力。

问题:以与 CPU 后端共享尽可能多的代码的方式添加 GPU 计算后端。

实现 GPU 加速的最简单方法是通过使用 Eigen-magma,但是这是非常有限的,因为在每次操作时都存在从主内存到 GPU 内存的不必要的来回拷贝,这限制了性能增益可以从 GPU 获取。

我知道我将不得不完全放弃 Eigen 并重写应用程序,但最好的方法是什么,而不需要完全独立的 CPU 和 GPU 计算后端代码路径?

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com