opencl - 确定最佳工作组大小和工作组数量的算法是什么

Question

OpenCL 标准定义了以下选项来获取有关设备和编译内核的信息:

• CL_DEVICE_MAX_COMPUTE_UNITS

• CL_DEVICE_MAX_WORK_GROUP_SIZE

• CL_KERNEL_WORK_GROUP_SIZE

• CL_KERNEL_PREFERRED_WORK_GROUP_SIZE_MULTIPLE

根据这些值，我如何计算工作组的最佳大小和工作组数量？

Answer 1

您可以通过实验为您的算法发现这些值。使用分析器获取硬数据。

我喜欢使用 CL_DEVICE_MAX_COMPUTE_UNITS 作为工作组的数量，因为我经常依赖同步工作项。我通常运行很少有分支的内核，因此在每个计算单元中执行的时间相同。

CL_KERNEL_PREFERRED_WORK_GROUP_SIZE_MULTIPLE 的某个倍数将最适合您的设备。该倍数实际上取决于您的内存访问模式以及您对每个工作项所做的工作类型。当您运行繁重的计算密集型 (ALU) 内核时，请使用 1 作为倍数。如果您遇到内存访问瓶颈，请尝试更大的倍数来隐藏内存延迟。使用探查器确定何时访问时间和 ALU 时间最佳。

对于任何设备，ALU 获取的最佳比率都是 1:1。这在实践中很少实现，因此您希望保持 ALU/SIMD 组饱和。这意味着 ALU:fetch 应尽可能大于 1。小于 1 意味着您应该尝试更大的工作组大小以更好地隐藏内存延迟。