c++ - MPI 还是套接字？

Question

我正在为一些数据处理开发一个松散耦合的集群。网络代码和处理代码已经到位，但我们正在评估我们方法中的不同方法。现在，正如我们应该做的那样，我们在性能问题上受到 I/O 的限制，我们正在努力减少这个瓶颈。显然，像 Infiniband 这样更快的交换机会很棒，但我们无法承受仅仅扔掉现有设备并购买新设备的奢侈。

我提出的问题是这样的。在集群上完成的所有传统和重要的 HPC 应用程序通常都是通过消息传递而不是直接通过套接字发送来实现的。这有什么性能优势？如果我们从套接字切换，我们应该看到加速吗？

Answer 1

MPI 可能会使用套接字。但是也有 MPI 实现与使用直接分布式共享内存的 SAN(系统区域网络)一起使用。当然，如果您有相应的硬件。所以 MPI 允许你在未来使用这些资源。在那种情况下，您可以获得巨大的性能改进(根据我在大学时代使用集群的经验，您可以获得几个数量级的 yield )。因此，如果您正在编写可以移植到更高端集群的代码，那么使用 MPI 是一个非常好的主意。

即使不考虑性能问题，使用 MPI 也可以为您节省大量时间，您可以使用这些时间来提高系统其他部分的性能，或者只是让您保持理智。