pci - Infiniband 动词涉及哪些 PCIe 操作？

Question

以下是一些具体细节。

当进程调用ibv_post_send()时，HCA 的 PCI 接口(interface)会发生什么？ WQE是否封装在PCIe门铃内并通过Programmed IO写入？或者 WQE 是在 HCA 读取的单独 DMA 中获取的吗？

当进程调用 ibv_poll_cq() 时会发生什么？ HCA 如何将 CQE 推送到系统内存？或者，如果它是基于拉动的，CPU 如何检测 HCA 中的新 CQE？

Answer 1

Is the WQE encapsulated inside the PCIe doorbell and written via Programmed IO? Or is the WQE fetched in a separate DMA read by the HCA?

两者都可以。通常的方式是写入 WQE 并按门铃，此时 HCA 将通过 DMA 获取 WQE。不太常见的方式是所谓的“蓝色火焰”——PCIe BAR 的一部分用于 WQE，WQE 写入 HCA 的方式与写入门铃的方式相同。

How does the HCA push CQEs to the system memory?

HCA 使用 DMA 将 CQE 写入系统内存。您的应用程序有两种方式了解新的完成情况:基于轮询或基于事件。ibv_poll_cq() 用于基于轮询的方法。