cublas - cublas 内核函数会自动与主机同步吗？

Question

只是一个关于 cublas 的一般问题。对于单线程，如果没有从 GPU 到 CPU 的内存传输(例如 cublasGetVector)，cublas 内核函数(例如 cublasDgemm)是否会自动与主机同步？

    cublasDgemm();
//cublasGetVector();
    host_functions()

此外，两个相邻的内核调用之间呢？

cublasDgemm();
cublasDgemm();

并且，不涉及先前内核中使用的全局内存的同步传输呢？

cublasDgemm(...gA...gB...gC);
cublasGetVector(...gD...D...);

Answer 1

不，除了少数返回标量值的 1 级例程外，CUBLAS API 是异步的。

3 级例程，如 cublasDgemm不要阻塞主机，您需要调用阻塞 API 例程，例如同步内存传输或显式主机-GPU 同步调用，以确保 CUBLAS 调用已完成。