cuda - ArrayFire 与原始 CUDA 编程？

Question

我对 GPU 编程很陌生，但由于我有一项计算密集型任务，我已经转向 GPU 以获得可能的性能提升。

我尝试用 ArrayFire Free 重写我的程序版本。它确实比我启用多线程的 CPU 例程快，但没有达到我预期的程度(即 < 100% 加速)，并且返回的结果不太正确(与 CPU 例程相比，误差 < 1%，假设CPU 例程的结果是正确的)。

我的任务主要是对大型矩阵(300MB-500MB 大小)进行元素方式的 float-32 数学运算，很少有 if-thens/switch-cases 等。我猜性能瓶颈可能是 CPU 和 GPU 内存之间的带宽，因为有大量数据读取等。我测试的 GPU 是 GeForce 580GTX，具有 3GB 显存。

如果我编写原始 CUDA 代码(使用 CUBLAS 等和平均优化)而不是使用 ArrayFire 来完成我的任务，是否还有很大的优化空间？我阅读了一些 NVIDIA 优化指南；似乎有一些内存访问技巧可以加快数据访问速度并减少银行冲突。 ArrayFire 是否自动使用这些通用技巧？

Answer 1

谢谢你的帖子。很高兴听到初步结果正在加速。我在 ArrayFire 工作，可以在这里回答您的问题。

首先，任何人都需要代码来帮助具体化。你能分享你写的代码吗？

其次，您应该按照以下方式考虑 CUDA 和 ArrayFire:CUDA 是一种对 GPU 进行编程的方法，它使您能够编写任何您想要的 GPU 代码。但是，幼稚的 CUDA 代码(通常比 CPU 慢)和专家级的、耗时的、手动优化的 CUDA 代码之间存在巨大差异。 ArrayFire(以及其他一些 GPU 库，如 CUBLAS)已经投入了很多人年的优化，并且通常会提供比大多数普通人有时间自己实现的更好的结果。但是，人们使用 ArrayFire(或其他库)的程度也存在差异。在使用 ArrayFire 库调用时可以而且应该调整一些变量以获得最佳性能。如果您发布代码，我们可以帮助在这里分享其中的一些。

第三，ArrayFire 在依赖 BLAS 的函数中使用了 CUBLAS，所以直接使用 CUBLAS 不太可能有太大区别。

第四，是的，ArrayFire 使用了 NVIDIA CUDA 编程指南中提供的所有优化(例如，更快的数据传输和减少你提到的内存库冲突)。这就是 ArrayFire 开发的大部分重点，优化这些事情。

最后，您注意到的数据差异可能是由于 CPU 与 GPU 计算的性质所致。由于它们是不同的设备，您经常会看到略有不同的结果。并不是 CPU 比 GPU 提供更好的结果，而是它们都以稍微不同的方式以有限的精度工作。如果您使用单精度而不是 double ，您可能会考虑这一点。发布代码也可以让我们帮助解决这个问题。

发布代码后，很高兴扩展我的答案。