linux - Cuda GPUDirect 到网卡/硬盘？

Question

我目前正在编写一个 CUDA 应用程序，并且遇到了一些“喂养野兽”的 IO 问题。

我想知道是否有任何方法可以直接从 RAID Controller 或 NIC 读取数据并将该数据直接发送到 GPU。我试图完成的事情直接显示在以下演示文稿的幻灯片 #3 中:http://developer.download.nvidia.com/devzone/devcenter/cuda/docs/GPUDirect_Technology_Overview.pdf .

话虽如此，显然这里已经回答了这个问题:Is it possible to access hard disk directly from gpu? ，但是我所附的演示文稿让我相信我所需要的只是在 Linux 中设置一个环境变量(但它没有提供任何有用的代码片段/示例)。

因此，我想知道是否可以将数据直接从 NIC/RAID Controller 读取到 GPU 中，这样做需要什么？我需要为硬件编写自己的驱动程序吗？是否有避免某些副本的示例？

在此先感谢您的帮助。

Answer 1

GPUDirect 是一个技术“总称”，它通常是一个品牌，指的是能够直接向 GPU 传输数据和/或从 GPU 传输数据的技术，以某种方式绕过主机内存进行不必要的传输。

GPUDirect v1 是一项与特定 infiniband 适配器配合使用的技术，可在 GPU 驱动程序和 IB 驱动程序之间共享数据缓冲区。这项技术大部分已被 GPUDirect (v3) RDMA 取代。此 v1 技术不支持任何 NIC 的一般使用。环境变量引用:

however the presentation that I've attached leads to believe all I need is to set an environment variable in Linux

指启用 GPUDirect v1。它不是通用 NIC 启用程序。

GPUDirect v2 也称为 GPUDirect Peer-to-Peer，它仅用于同一 PCIE 结构上的两个 CUDA GPU 之间的数据传输。它不支持与任何其他类型的设备的互操作性。

GPUDirect v3 也称为 GPUDirect RDMA。

Therefore, I'm wondering if it is possible to read data directly from a NIC/RAID controller into the GPU and what would be required to do so?

如今，GPUDirect RDMA 的典型用例是 Mellanox Infiniband (IB) 适配器。 (它也可以工作，也许在 Mellanox 的帮助下，使用 Mellanox 以太网适配器和 RoCE)。如果这符合您对“NIC”的定义，那么假设您有合适的硬件，则可以通过加载合适的软件堆栈来实现。 GPU 和 IB 设备需要在同一个 PCIE 结构上，这意味着它们需要连接到同一个 PCIE 根联合体(有效地，连接到同一个 CPU 插槽)。当与 Mellanox IB 适配器一起使用时，典型用法将涉及 GPUDirect RDMA-aware MPI .

如果您有自己未指定的 NIC 或 RAID Controller ，并且您还没有适用于它的 GPUDirect RDMA linux 设备驱动程序，则无法使用 GPUDirect。 (如果有 GPUDirect RDMA 驱动程序，请联系制造商或驱动程序提供商寻求帮助。)如果您可以访问驱动程序源代码，并且熟悉编写自己的 linux 设备驱动程序，则可以尝试制作自己的 GPUDirect 驱动程序.涉及的步骤超出了我的回答范围，但起点是 documented here .

Would I need to write my own driver for the hardware?

是的，如果您还没有 GPUDirect RDMA 驱动程序，则需要编写一个。

Are there any examples where certain copies are avoided?

GPUDirect RDMA MPI link给出了示例并解释了 GPUDirect RDMA 如何在从 GPU 到 IB 适配器的数据传输过程中避免不必要的设备<->主机数据副本。通常，数据可以直接(通过 PCIE)从 GPU 设备上的内存传输到 IB 设备上的内存(反之亦然)，而无需经过主机内存(GPUDirect v1 没有实现这一点。)

更新:NVIDIA 最近宣布了一项名为 GPU Direct Storage 的新 GPU Direct 技术。 .