c++ - 在 CUDA 内核中放置一个 for 循环

Question

在内核中放置一个 for 循环是个坏主意吗？
或者这是一件很常见的事情？

Answer 1

将循环放入内核是很常见的。这并不意味着它总是一个好主意，但也不意味着它不是。

确定如何有效地分配任务和数据以及利用相关并行性的一般问题是一个非常困难且 Unresolved 问题，尤其是在涉及 CUDA 时。正在进行积极的研究以有效地确定(即，不盲目地探索参数空间)如何为给定的内核实现最佳结果。

有时，将循环放入内核中会很有意义。例如，对具有强数据独立性的大型常规数据结构的许多元素进行迭代计算非常适合包含循环的内核。其他时候，您可能决定让每个线程处理许多数据点，例如您没有足够的共享内存来为每个任务分配一个线程(当大量线程共享大量数据时这种情况并不少见，并且通过增加每个线程完成的工作量，您可以容纳所有线程'共享内存中的共享数据)。

最好的办法是根据需要进行有根据的猜测、测试、分析和修改。有很多空间可以进行优化……启动参数、全局与常量与共享内存、保持寄存器数量不变、确保合并和避免内存库冲突等。如果您对性能感兴趣，您应该在 CUDA 4.0 文档页面上查看 NVIDIA 提供的“CUDA C Best Practices”和“CUDA Occupancy Calculator”(如果您还没有的话)。