linux - 选择共享内存系统、MPI 库、原始 RDMA 还是 ULP over RDMA？

Question

我是高性能计算 (HPC) 方面的新手，但我将有一个 HPC 项目，因此我需要一些帮助来解决一些基本问题。

应用场景很简单:通过InfiniBand(IB)网络连接几台服务器，一台服务器做Master，其他服务器做Slave。只有master将内存中的数据(数据大小从1KB到几百MB不等)读/写到slave中，而slave只是被动地将数据存储在内存中(并在适当的时候将内存中的数据转储到磁盘中) ).所有计算都在主机中执行，在写入数据之前或从从机读取数据之后。系统的需求是低延迟(小区域数据，例如1KB-16KB)和高吞吐量(大区域数据，几百MB)。 p>

所以，我的问题是

<强>1。哪种具体方式更适合我们？ MPI、原始 IB/RDMA 库或基于 RDMA 的 ULP。

据我所知，现有的消息传递接口(interface) (MPI) 库、原始 IB/RDMA 库如 libverbs 和 librdmacm 以及用户级协议(protocol) (ULP) RDMA可能是可行的选择，但我不太确定它们的适用范围。

<强>2。我应该对操作系统或 IB 网络进行一些调整以获得更好的性能吗？

有一篇论文[ 1 ] 从微软宣布

We improved performance by up to a factor of eight with careful tuning and changes to the operating system and the NIC drive

就我而言，我会尽量避免进行此类性能调整。但是，如果无法避免调整，我会尽力而为。我们环境的IB网络是Mellanox InfiniBand QDR 40Gb/s，我可以自由选择服务器的Linux操作系统。

如果大家有什么想法，欢迎评论和回答!提前致谢!

[1] FaRM: Fast Remote Memory

Answer 1

如果您使用 MPI，您将受益于独立于互连的解决方案。这听起来不像是你要保留 20 年的东西，但软件的生命周期比你想象的要长。

使用 MPI 还可以让您在(可能过度使用)笔记本电脑或工作站上进行调试，然后再将其部署到 infiniband 机器上。

关于您关于调整网络的第二个问题，我相信您可以进行无休止的调整，但是在您拥有一些真正的工作负载和硬数据之前，您就是在浪费时间。首先让事情正常运行，然后再考虑优化网络。也许您需要调整许多小包。也许您需要担心一些大额转账。视情况而定，调整会大不相同。