hadoop - 重新执行如何成为容错的主要来源？

Question

在一篇关于MapReduce的研究论文中，有一句话:

Our use of a functional model with user specified map and reduce operations allows us to parallelize large computations easily and to use re-execution as the primary mechanism for fault tolerance.

我不明白重新执行的实际含义以及重新执行如何成为容错的主要机制？

Answer 1

我想给出一个笼统的答案。

错误或失败的原因:

1. 节点故障/无法访问换句话说，这意味着该节点中运行的所有任务都失败/无法访问。

2. 任务失败/无法访问节点内所有任务正在处理的数据将保存在本地，当节点发生故障或变得无法访问(对其他节点或主节点)时，则无法检索到目前为止处理的数据。所以显而易见的解决方案是在同一节点或其他一些节点(节点故障)上重新启动这些任务。这使得重新执行成为容错的主要机制。

为容错重新执行的另一个类比是数据丢失的冗余。数据被复制以避免存储设备丢失数据。同样，重新执行任务以使应用程序具有容错能力。