azure - 如何在 Azure 上使用 RDMA

Question

我在Azure上购买了1台H16r虚拟机，并在“About H-series and compute-intensive A-series VMs”上尝试了RDMA的设置方法:

azure config mode arm
azure vm extension set <resource-group> <vm-name> RDMAUpdateForLinux Microsoft.OSTCExtensions 0.1

正如 azure 官方介绍的那样:“该接口(interface)允许支持 RDMA 的实例通过 InfiniBand 网络相互通信，以 FDR 速率运行于 H16r 和H16mr 虚拟机，以及 A8 和 A9 虚拟机的 QDR 速率。”

所以 H16r 风格使用 Infiniband 技术是正确的，但在通过 azure-cli 安装 rdma 驱动程序后，我仍然在 H16 VM 中找不到 IB 接口(interface)!

Answer 1

如果您不能执行 RDMA，那么它就不是一个“支持 RDMA”的设备!

在其他 H 系列 (H[bc]*r*) 上，您有一个 ib0 接口(interface)，并且 Mellanox 通过 SR-IOV 接口(interface)暴露在总线中，但对于 H16r，您没有:

NR_14-22:58:03 ~ $ ifconfig ib0  
  ib0: error fetching interface
  information: Device not found  

NR_14-22:58:43 ~ $ lsmod | grep rdma 

NR_14-22:58:57 ~ $ lspci | grep Mell

Microsoft states here

On these CentOS-based HPC images for non-SR-IOV enabled VMs, kernel updates are disabled in the yum configuration file. This is because the NetworkDirect Linux RDMA drivers are distributed as an RPM package, and driver updates might not work if the kernel is updated.

...但是没有这样的“NetworkDirect”Linux 驱动程序。