memory - 如何缓解 OpenCL/CUDA 中的主机 + 设备内存传输瓶颈

Question

如果我的算法受到主机到设备以及设备到主机内存传输的瓶颈，唯一的解决方案是使用不同的或修改的算法吗？

Answer 1

您可以尝试采取以下几项措施来缓解 PCIe 瓶颈:

• 异步传输 - 允许重叠计算和批量传输
• 映射内存 - 允许内核在执行期间将数据传输至 GPU 或从 GPU 传输数据

请注意，这些技术都不会提高传输速度，它们只是减少 GPU 等待数据到达的时间。

使用cudaMemcpyAsync API 函数，您可以启动传输、启动一个或多个不依赖传输结果的内核、同步主机和设备，然后启动等待传输完成的内核。如果您可以构建算法，以便在传输过程中进行高效工作，那么异步副本是一个很好的解决方案。

通过 cudaHostAlloc API 函数，您可以分配可直接从 GPU 读写的主机内存。速度更快的原因是需要主机数据的 block 只需要等待一小部分数据的传输。相反，通常的方法是让所有 block 等待整个传输完成。映射内存本质上将大型单片传输分解为一堆或更小的复制操作，因此减少了延迟。

您可以在 CUDA Programming Guide 的第 3.2.6-3.2.7 节中阅读有关这些主题的更多信息。和 CUDA Best Practices Guide 的第 3.1 节。 OpenCL Best Practices Guide第3章解释如何在 OpenCL 中使用这些功能。