cuda - CUDA 中的纹理内存 : Concept and simple example to demonstrate performance

Question

我正在阅读标题为 Particle Simulation with CUDA 的 NVIDIA 白皮书西蒙·格林。

它描述了 SDK 粒子示例和使用的算法。

在讨论代码的性能时，作者说粒子位置和速度的全局内存阵列“绑定(bind)”到纹理。

现在我对纹理内存的概念感到非常困惑。 NVIDIA CUDA 编程指南在没有任何示例的情况下进行了一些非常血腥和困难的解释。

因此我有两个问题:

有人可以给/推荐我一个非常简单的(假人的纹理内存)示例，说明如何使用纹理和 提高性能。

第 40 页的 CUDA 编程指南 4.0 说“纹理可以是线性内存或 CUDA 数组的任何区域”。现在，如果(如前所述)纹理内存比全局内存提供更好的性能，为什么不将整个全局内存“绑定(bind)”到纹理内存呢？

Answer 1

cuda SDK 包含一个简单的示例 simpleTexture它演示了使用纹理执行简单的 2D 坐标变换。

首先要记住的是纹理内存是全局内存。唯一的区别是纹理是通过专用的只读缓存访问的，并且缓存包括硬件过滤，可以在读取过程中执行线性浮点插值。然而，缓存与传统缓存的不同之处在于它针对空间局部性(在纹理的坐标系中)而不是内存中的局部性进行了优化。对于某些应用程序，这是理想的，并且由于缓存和您可以从过滤硬件获得的免费 FLOP，这将带来性能优势，但对于其他应用程序，它不会并且纹理可能会更慢，因为访问涉及缓存未命中惩罚除了全局内存读取，不需要插值。

所以像粒子模拟这样的东西可以从纹理中受益，因为计算通常在考虑局部相互作用的单元或控制体积中执行，并且相邻粒子需要访问彼此的速度和加速度。空间本地缓存比简单的线性内存缓存更适用于此。但是对于其他应用程序，内存访问模式中没有固有的空间局部性，并且纹理提供的好处很少或没有传统缓存内存。