memory-management - 使用 OpenCL 优化本地内存使用

Question

OpenCL 的设计当然是为了抽象出硬件实现的细节，因此在担心硬件配置方式方面陷入过多的困境可能不是一个好主意。

话虽如此，我想知道有多少本地内存对于任何特定的内核都是有效的。例如，如果我有一个包含 64 个工作项的工作组，那么可能不止一个工作项可以同时在一个计算单元中运行。然而，CL_DEVICE_LOCAL_MEM_SIZE 查询返回的本地内存大小似乎适用于整个计算单元，而如果此信息适用于工作组，它会更有用。如果工作组共存于同一个计算单元，有没有办法知道有多少工作组需要共享同一个内存池？

我认为确保我的工作组内存使用量低于本地总内存大小的四分之一是个好主意。这是不是太保守了？手动调整是唯一的方法吗？对我来说，这意味着您只针对一种 GPU 型号进行调优。

最后，我想知道整个本地内存大小是否可供用户分配本地内存，或者是否有其他系统开销使其更少？我听说如果你分配太多，那么数据就会被放在全局内存中。有没有办法确定是否属于这种情况？

Answer 1

如果工作组共存于同一个计算单元，有没有办法知道有多少工作组需要共享同一个内存池？

不是一步到位，但您可以计算出来。首先，您需要知道一个工作组需要多少本地内存。为此，您可以使用 clGetKernelWorkGroupInfo带有标志 CL_KERNEL_LOCAL_MEM_SIZE(严格来说它是一个内核所需的本地内存)。由于您知道每个计算单元有多少本地内存，因此您可以知道一个计算单元上可以共存的最大工作组数。

其实，这并没有那么简单。您必须考虑其他参数，例如可以驻留在一个计算单元上的最大线程数。
这是一个occupancy 的问题(您应该尝试最大化)。不幸的是，占用率会因底层架构而异。

AMD 发表了一篇关于如何计算不同架构占用率的文章 here .
NVIDIA 提供一个 xls sheet计算不同架构的占用率。
并非所有进行计算所需的信息都可以使用 OCL 查询(如果我没记错的话)，但是没有什么能阻止您在应用程序中存储有关不同架构的信息。

我认为确保我的工作组内存使用量低于本地总内存大小的四分之一是个好主意。是不是太保守了？

它非常严格，使用 clGetKernelWorkGroupInfo 您不需要这样做。但是，需要考虑一些关于 CL_KERNEL_LOCAL_MEM_SIZE 的事情:

If the local memory size, for any pointer argument to the kernel declared with the __local address qualifier, is not specified, its size is assumed to be 0.

由于您可能需要动态计算每个工作组所需的本地内存大小，因此这里有一个基于内核是在 JIT 中编译的事实的解决方法。

您可以在内核文件中定义一个常量，然后在调用 clBuildProgram 时使用 -D 选项设置它的值(之前已计算)。

我想知道整个本地内存大小是否可用于用户分配本地内存，或者是否有其他系统开销使其更少？

CL_KERNEL_LOCAL_MEM_SIZE 也是答案。标准规定:

This includes local memory that may be needed by an implementation to execute the kernel...