cuda - 从多个进程并行执行GPU内核

Question

我有一个我想在多个进程之间共享一个GPU的应用程序。也就是说，这些进程中的每个进程都将针对相同的GPU创建自己的CUDA或OpenCL上下文。根据Fermi白皮书[1]，应用程序级别的上下文切换不到25微秒，但是启动在GPU上启动时已被有效地序列化了，因此Fermi不能很好地工作。根据开普勒白皮书[2]，有一种叫做Hyper-Q的东西，它允许来自多个CUDA流，MPI进程或一个进程中的线程的多达32个同时连接。

我的问题:有没有人在开普勒GPU上进行过尝试，并验证了从不同进程进行调度时其内核是否同时运行？这仅仅是CUDA功能，还是可以与Nvidia GPU上的OpenCL一起使用？ AMD的GPU是否支持类似功能？

[1] http://www.nvidia.com/content/PDF/fermi_white_papers/NVIDIA_Fermi_Compute_Architecture_Whitepaper.pdf

[2] http://www.nvidia.com/content/PDF/kepler/NVIDIA-Kepler-GK110-Architecture-Whitepaper.pdf

Answer 1

为了回答第一个问题，NVIDIA在博客here中发布了一些hyper-Q结果。该博客指出，移植CP2K的开发人员能够更快地获得加速的结果，因为hyper-Q允许他们或多或少按原样使用应用程序的MPI结构并在单个GPU上运行多个等级，并获得这样可以提高GPU的有效利用率。如评论中所述，此(hyper-Q)功能仅在K20处理器上可用，因为它取决于GK110 GPU。