c++ - C++/CUDA 中带有 3 个尖括号 (<<<) 的模板化方法是什么？

Question

原谅这可能是一个简单的问题，我的 C++ 生锈了。我正在使用 C 语言开发一个机器学习应用程序，该应用程序使用 CUDA 进行一些计算，我发现了以下代码行。

只是好奇如何解析这个。它看起来像一个模板化方法，但我不明白三重尖括号“<<<”。这是怎么回事？

backward_scale_kernel<<<n, BLOCK>>>(x_norm, delta, batch, n, size, scale_updates);

因为上下文“n”作为函数参数传入，我找不到 BLOCK 在哪里定义或赋值。

Answer 1

我确定已经有一个很好的拷贝，但是 <<< >>>您看到的装饰器是一个 CUDA 运行时 API syntax extension允许指定 CUDA 内核调用的执行参数。

完整的语法是

kernel_function<<<grid dimensions, block dimensions, dynamic shared memory, stream ID>>>( ....arguments....)

CUDA 运行时 API 前端将此语法扩展为一对对编译器发出的样板的内联函数调用，以允许在运行时启动底层 GPU 内核。