tcp - 为什么 Hadoop 不使用 MPI 实现？

Question

如果我错了请纠正我，但我的理解是 Hadoop 不使用 MPI 进行不同节点之间的通信。

造成这种情况的技术原因是什么？

我可能会冒险做出一些猜测，但我对 MPI 的“幕后”实现方式知之甚少，无法判断我是否正确。

想想看，我对 Hadoop 的内部结构也不完全熟悉。我在概念层面上理解框架(map/combine/shuffle/reduce 以及它在高层次上是如何工作的)但我不知 Prop 体的实现细节。我一直假设 Hadoop 正在通过 TCP 连接传输序列化数据结构(可能是 GPBs )，例如在洗牌阶段。如果这不是真的，请告诉我。

Answer 1

Hadoop/map-reduce 的一大特点是容错性。大多数(任何？)当前 MPI 实现不支持容错。正在考虑用于 OpenMPI 的 future 版本.

Sandia labs有一个使用 MPI 的 map-reduce 版本，但它缺乏容错能力。