cuda - 对齐图像卷积 (OpenCL/CUDA) 内核的 GPU 内存访问

Question

为了了解如何确保满足对齐要求，我多次阅读了《使用 OpenCL 进行异构计算》一书中的以下段落:157。这展示了如何为图像卷积中的问题添加填充(假设工作组大小为 16 x 16)。

对齐内存访问

NVIDIA 和 AMD GPU 的性能都受益于全局内存中的数据对齐。特别是对于 NVIDIA，在 128 字节边界上对齐访问并访问 128 字节段将理想地映射到内存硬件。但是，在本例中，16 宽工作组将仅访问 64 字节段，因此数据应该对齐到 64 字节地址。这意味着每个工作组访问的第一列应从 64 字节对齐的地址开始。在此示例中，选择让边框像素不生成值决定了所有工作组的偏移量将是工作组尺寸的倍数(即，对于 16 x 16 工作组，工作组将开始访问位于N*16 列)。为了确保每个工作组正确对齐，唯一的要求是用额外的列填充输入数据，使其宽度成为工作组 X 维度的倍数。

1-任何人都可以帮助我理解填充每个工作组访问的第一列后如何从 64 字节对齐的地址开始(上面段落中提到的要求，对吧？)？

2-此外，该图的陈述是正确的:对于 16 x 16 工作组，工作组将开始访问 N*16 列的数据。

如果正确，如图所示的工作组 1,2 应开始访问第 1x16 列的数据，这与图中所示的情况相反。我完全困惑了! :(

更新:我现在已经清楚 Q-2 了。实际上，如图所示的工作组是2,1(按照opencl约定，列第一)，所以它是完全正确的:2x16=32，而不是我想的1x16。

但是问题不是。 1 仍未得到答复。

Answer 1

对于卷积核来说，每个区域(例如区域(0,1)或区域(2,1)等)还必须包含其周围的数据“光环”，以便当卷积核在如果数据元素位于区域边缘，则它具有该数据元素的一组合适的邻居来计算该数据点处的卷积。这意味着对于左上角有数据元素 (0,0) 的区域 (0,0)，我需要元素 (-1, 0)、(-2, 0) 等才能计算卷积在元素 (0,0) 处。

现在，如果我正常存储图像，因此元素 (0,0) 位于内存位置 0(或其他一些 64 字节对齐地址)，那么当我访问该点之前的元素进行卷积时，我将访问 64 字节对齐区域之外的数据。因此，我们可以用“向左”的附加数据元素“填充”图像的最左列，即先在地址中，以便卷积核拾取全部位于 6​​4 字节对齐区域内的值，而我不是跨越 64 字节边界。我们不是在内存位置 0 处开始图像存储，而是在内存位置 0 处启动光环存储，并且第一个图像数据元素从位置 0 + 光环宽度开始。此填充还可以具有对齐其他区域的光环边界的效果，如图像中红色虚线的交点所示，假设该区域的 x 和 y 尺寸是工作组 x 和 y 尺寸的倍数，如图所示。

现在我们还假设图像的宽度为非 2 的幂(例如，高清图像的宽度为 1920 像素)。如果我们只是将光晕宽度作为图像右侧(即像素行末尾)的填充，然后我们立即开始下一个像素行的光晕区域，我们会也不可能有从下一个像素行(包括光晕)开始的正确对齐的区域。因此，我们在每行的末尾放置额外的填充(任何卷积运算都不会触及它，它只是浪费空间)，这样当我们开始下一个像素行的光晕区域时，它就从正确对齐的地址开始。

这个讨论和方法(我相信也是问题)实际上只集中于确保每个工作组数据访问的起始地址对齐。只要第一个工作组的起始地址对齐(通过适当的填充和调整内存中的图像存储)，并且工作组具有适当的尺寸(例如 16 宽，每个工作器 4 个字节)，则第一个工作组的起始地址下一个工作组也将进行调整。相邻工作组的数据访问之间当然会存在重叠，因为相邻工作组的光环区域是重叠的。

Alignment因为我在这里使用它有一个相当简单的定义。如果地址的最低有效 n 位全部为零，则内存中的地址是 2**n 字节对齐的。因此，64 字节对齐区域的起始地址的 6 个最低有效位全为零。这对于这些架构通常很有用，可以满足架构的内存负载和存储要求，特别是它们包含的 DRAM 子系统。现代 DRAM 存储体访问总是返回多个字节，因此我们可以 make best effective use如果我们在代码中的同一位置同时使用所有这些字节，则会发生传输的情况。有关对齐及其对合并和改进数据访问的影响的更多介绍，您可能会对 this webinar 感兴趣。 (和 slides )来自 nvidia webinar page 。如需快速浏览，请参阅 this presentation 的幻灯片 26-33涵盖基本思想。