hadoop - MPI vs GPU vs Hadoop，这三种并行性之间的主要区别是什么？

Question

我知道一些机器学习算法，例如随机森林，本质上应该并行实现。我做作业发现有这三种并行编程框架，所以我想知道这三种并行性之间的主要区别是什么？

特别是，如果有人能给我指出一些研究来比较它们之间的区别，那就太完美了!

请列出每种并行度的优缺点，谢谢

Answer 1

1. MPI 是并行的消息传递范例。在这里，您有一台根机器，它在其 MPI 世界中的所有机器上生成程序。系统中的所有线程都是独立的，因此它们之间唯一的通信方式是通过网络消息。网络带宽和吞吐量是影响 MPI 实现性能的最关键因素之一。想法:如果每台机器只有一个线程，并且上面有多个内核，则可以使用 OpenMP 共享内存范例在一台机器上解决问题的子集。

2. CUDA 是并行的 SMT 范例。它使用最先进的 GPU 架构来提供并行性。 GPU 包含( block (核心组))以锁步方式处理相同的指令(这类似于 SIMD 模型)。因此，如果您系统中的所有线程都做很多相同的工作，您可以使用 CUDA。但是 GPU 中共享内存和全局内存的数量是有限的，因此您不应该只使用一个 GPU 来解决一个巨大的问题。

3. Hadoop 用于使用 Map Reduce 范式解决商用硬件上的大型问题。因此，您不必担心分发数据或管理极端情况。 Hadoop 还提供了一个文件系统 HDFS，用于在计算节点上存储数据。

Hadoop、MPI 和 CUDA 彼此完全正交。因此，比较它们可能不公平。

不过，您始终可以使用 ( CUDA + MPI ) 来解决使用 GPU 集群的问题。您仍然需要一个简单的核心来执行问题的通信部分。