amazon-web-services - 类似于 Amazon Web Services Cluster GPU 实例的私有(private)云 GPU 虚拟化

Question

我正在寻找启用基于云的动态 NVIDIA GPU 虚拟化的选项，类似于 AWS 为 Cluster GPU Instances 分配 GPU 的方式。 .

我的项目正在建立一个内部云。一项要求是能够将 GPU 分配给虚拟机/实例以进行服务器端 CUDA 处理。

南加州大学似乎正在研究 OpenStack enhancements支持这一点，但它还没有准备好。如果它在 OpenStack 中功能齐全，这正是我正在寻找的。

NVIDIA VGX似乎只支持将 GPU 分配给 USMs ，这是严格的远程桌面 GPU 虚拟化。如果我错了，并且 VGX 确实从虚拟机/实例启用了服务器端 CUDA 计算，那么请告诉我。

Answer 1

"dynamic cloud-based NVIDIA GPU virtualization similar to the way AWS assigns GPUs for Cluster GPU Instances."

AWS 并没有真正动态分配 GPU:每个 GPU 集群计算有 2 个固定的 GPU。所有其他服务器(包括常规集群计算)都没有任何 GPU。 IE。他们没有可以说“GPU 与否”的 API，它固定为使用固定硬件的盒子类型。

Xen 上的 pass-thru 模式是专门为您的用例而设计的:将硬件从 Host 传递到 Guest。默认情况下它不是“动态的”，但您可以编写一些代码来选择其中一位客人来获取主机上的每张卡。