InfiniBand 解释

Question

谁能解释一下 InfiniBand 是什么？与以太网相比的主要区别是什么，这些差异如何使其比以太网更快？

在官方description从 mellanox 写到

Introduce InfiniBand, a switch-based serial I/O interconnect architecture operating at...

Infiniband 是 是什么意思基于交换机的互连？我找到了 description ，但它没有解释如果多个输入要写入单个输出会发生什么，如何解决冲突？

也有人说Infiniband有端到端的流量控制。这是否意味着没有(需要)任何其他(中间)流量控制？为什么？

Answer 1

使 Infiniband 更快的以太网和 Infiniband 之间的主要区别在于 RDMA(远程直接内存访问)。 DMA(在网络中)是一种直接从 NIC(网络接口(interface) Controller )访问内存的操作，不涉及 CPU。 RDMA 是同样的想法，但是直接内存访问是由远程机器完成的。
更多区别:

通信是在 QP(队列对)而不是 channel 之间完成的。

数据流入/流出用户空间直接流入/流出硬件，而不是通过内核堆栈。

请求者和响应者之间的基本 RDMA 流将包括:

握手 - 在请求者和响应者之间交换细节(主要是分配的内存地址和访问 key )。

在请求者端创建一个 READ/WRITE/ATOMIC 请求。

将请求发送给响应者。

直接访问响应端的内存。

如果 READ/ATOMIC - 将从响应者的内存中读取的数据发送回请求者。

主要好处:

响应端没有 CPU 访问 - 吞吐量仅受硬件(NIC 和 PCI)的限制。

响应端没有运行任何软件 - 允许低得多的延迟(比典型的 TCP/UDP 延迟低约 10 倍)。

支持请求端完成的“轮询模式”，这意味着一旦 HW 完成传输，SW 立即知道。以高 CPU 利用率为代价，允许更低的延迟和更高的吞吐量。

更多信息请引用 Infiniband spec (对不起，它很长)。
相关流量协议(protocol):

RoCE(融合以太网上的 RDMA)，它通过使用 L2/L3/L4 以太网 header 包装 Infiniband 数据包来实现 RDMA over Ethernet 结构。

IPoIB(IP over Infiniband)，通过使用 Infiniband header 包装 L3/L4 数据包，在 Infiniband 结构上实现常规网络(通过内核堆栈)。

希望这可以帮助。