mapreduce - MapReduce 中的容错

Question

我正在阅读有关 Hadoop 以及它的容错性的文章。我阅读了 HDFS 并阅读了如何处理主节点和从节点的故障。但是，我找不到任何提及 mapreduce 如何执行容错的文档。特别是，当包含 Job Tracker 的主节点宕机或任何从节点宕机时会发生什么？

如果有人可以向我指出一些详细解释这一点的链接和引用资料。

Answer 1

MapReduce 层的容错取决于 hadoop 版本。 hadoop.0.21之前的版本，没有做checkpointing，JobTracker失败会导致数据丢失。

但是，从 hadoop.0.21 开始的版本，在 JobTracker 将其进度记录在文件中的位置添加了检查点。当 JobTracker 启动时，它会查找此类数据，以便它可以从停止的地方重新开始工作。