optimization - 如何提高 GPU 的内存访问速度？ (CUDA)

Question

首先，我需要描述我使用 CUDA 的应用程序。

这是一个相当标准的热流模拟。我获取一堆 3D float 组(可变的温度和热量，以及常数 k 值、sar_value 和其他一些)，并将它们复制到分配在 GPU 上的线性数组中。所有这些都在全局内存中。

接下来，我启动一个计算热流的内核函数。我使用二维 block 构造和一维线程构造来启动该内核。该 block 对应于我们正在执行热流计算的模拟立方体的 x 和 y 坐标。线程对应的是z坐标。所有线程/ block 坐标都是总立方体大小的倍数，以最大限度地提高性能。

接下来，我对每个单元格执行冗长的计算。所有数组都是线性的，因此我已准备好偏移量来计算 z、y 和 x 方向上的下一个单元格。大部分空间局部性发生在写/读存储器中，因此纹理存储器不是那里的选择。总共，每次计算有 2 次写入大数组、6 次常量大数组读取(如 300 MB float 数组的一个索引)、8 次可变大数组读取、6 次常量小数组读取(如 300 的立方根) MB)。所有这些都发生在两行代码中。我没有将对同一内存位置的多次读取包含为单独的读取，因为我假设它们已被缓存。

其次，我将描述我通过此计算得到的结果。

我在 Tesla C1060 上每秒获得约 2.25 亿个电池。在大型数据集(40-6000 万个单元)上，我发现每个单元启动 1 个线程、每 2 个单元启动 1 个线程、每 4 个单元启动 1 个线程之间的性能没有差异，一直到某个点。这对我来说表明计算的限制因素是实际的内存获取。当我为多个 block 启动 1 个线程时，我减轻了系统上的内存过载，因此每次计算速度都更快，尽管计算的并行性较低 - 净值没有性能提升，+或 - 百分之一或百分之二。

我尝试了什么？我尝试将我的空间局部常量大数组放入 3D 纹理内存中 - 灾难性的 3-4 倍减速。我认为常量内存不可行，因为数据访问模式是大数组中的每个索引仅访问一次或两次，此外，我不一定知道编译时输入的大小。我已经在大型常量数组上尝试过一维纹理；也很糟糕。

还有什么我可以做的吗？此外，如果您可以看到每秒提取的字节数(2.25 亿/秒 * 100 左右字节)，则它完全在 Tesla C1060 内存带宽的范围内(大约是 10 的倍数)。为什么内存是限制因素？我在某个地方看到有人“平铺”他们的数据集进行类似的热流计算(我认为是在“Mint”背后的人的一篇论文中)，这是什么意思？

感谢您的回答。有任何问题欢迎在评论区提问。

Answer 1

Next, on each cell I perform a lengthy calculation. All of the arrays are linear, so I have prepped offsets to compute the next cell in the z, y and x directions.

仔细考虑您在扭曲内的数组中获得的访问模式类型。 warp 中的线程应按“行优先”顺序访问连续地址。如果您偶然最终得到了类似“列主”访问模式的结果，您的代码将发出比必要的更多的内存事务。

《CUDA 编程指南 4.2》中的第 2.2 节“线程层次结构”描述了线程索引如何映射到线程 ID。检查连续的线程 ID 是否也导致(至少在很大程度上)连续的数组索引。