multithreading - 具有多个 cpu 线程的 cuda 设备选择

Question

如果 2 个或更多主机线程使用 cuda 运行时，您能告诉我 cuda 运行时如何选择 GPU 设备吗？

运行时是否为每个线程选择单独的 GPU 设备？

是否需要明确设置 GPU 设备？

谢谢

Answer 1

是的，需要明确设置 GPU 设备，否则将使用默认设备(通常为设备 0)

请记住，一旦运行时开始使用一个设备，在同一线程中调用的所有函数都将固定到该设备。

我发现启动线程时有用的东西是

cudaThreadExit(); // clears all the runtime state for the current thread
cudaSetDevice(deviceId); // explicit set the current device for the other calls
cudaMalloc
cudaMemcpy
etc.. 

编程指南有一章专门介绍它。