cuda - 我们应该在不同的调用中重用 cublasHandle_t 吗？

Question

我正在使用最新版本的 CUDA 5.5，而新的 CUBLAS 有一个有状态的品味，其中每个功能都需要一个 cublasHandle_t例如

  cublasHandle_t handle;
  cublasCreate_v2(&handle);
  cublasDgemm_v2(handle, A_trans, B_trans, m, n, k, &alpha, d_A, lda, d_B, ldb, &beta, d_C, ldc);
  cublasDestroy_v2(handle);

像 Session 那样尽可能多地重用这个句柄实例是一个好习惯吗？或者性能影响会如此之小，以至于通过拥有短暂的句柄实例来降低代码复杂性并因此不断创建/销毁它更有意义？

Answer 1

我认为这是一个很好的做法，原因有两个:

从 cuBLAS 库用户指南中，“cublasCreate() [...] 在主机上分配硬件资源”，这让我认为它的调用存在一些开销。

多个 cuBLAS 句柄创建/销毁可以通过不需要的上下文同步来破坏并发性。