cuda - 如何实现CUDA <<<…>>>()内核启动语法

Question

CUDA内核使用此语法启动(至少在运行时API中)

mykernel<<<blocks, threads, shared_mem, stream>>>(args);

这是作为宏实现的还是nvcc在将主机代码交给gcc之前删除的特殊语法？

Answer 1

nvcc预处理系统最终将其转换为CUDA runtime library calls序列，然后再将代码交给主机代码编译器进行编译。确切的 call 顺序可能会因CUDA版本而异。

您可以使用--keep的nvcc选项检查文件(并且--verbose也可能有助于理解)，还可以查看使用其中一个探查器为内核调用发出的API调用的痕迹。 nvprof --print-api-trace ...
- -编辑 - -

为了使答案更简洁，nvcc在将其传递给主机编译器(https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#offline-compilation)之前，直接修改了主机代码以替换<<< ... >>>语法。