gpu - GPU共享内存很小-我该怎么办？

Question

在当今大多数nVIDIA GPU上，共享内存（OpenCL中的“本地内存”）的大小仅为16 KiB。
我有一个应用程序，需要在其中创建一个具有10,000个整数的数组。因此我需要容纳10,000个整数= 10,000 * 4b = 40kb的内存量。


我该如何解决？
是否有GPU拥有超过16 KiB的共享内存？

Answer 1

将共享内存视为显式管理的缓存。您将需要将数组存储在全局内存中，并根据需要通过多次传递或其他一些方案来最大程度地减少加载/存储到全局内存或从全局内存中存储的数量，从而将其部分缓存在共享内存中。

如何执行此操作将取决于您的算法-如果您可以提供一些具体信息，则您可能会得到一些更具体的建议。

最后一点-请注意，共享内存是在块中的所有线程之间共享的-每个线程的内存少于16 kb，除非您拥有块中所有线程共有的单个数据结构。