c - 使用 CUDA + MPI 的矩阵乘法

Question

我正在研究集群环境中使用 mpi 进行通信的 gpu。
为了比较提速，我认为在创建时:

仅用于 GPU 的矩阵乘法，可以。
现在只有 CPU MatrixMulti，可以。
但是我找不到一个很好的 CUDA + MPI 矩阵乘法实现。

有谁能告诉我在哪里可以找到它吗？或者建议一种实现方式。

Answer 1

MTL4 矩阵模板库可以是一个很好的起点。现在 MTL4 有多核、DMM，我们几乎完成了完整的 GPU 实现。 Peter 和我一直在谈论分布式 GPU 算法，但由于目前我们的重点是由 PDE 求解器驱动的，因此分布式 GPU 算法很难与强大的 DMM 竞争。

不过，我正在研究一个新的地球物理学/医学成像求解器集，它更有利于分布式 GPU 计算，因为数据集更适中，而且 GPU 的视频功能也很有用。

首先，请查看 MTL4 tutorial