hadoop - 在 mapreduce 作业中恢复黑名单 tasktrackers

Question

我有 5 个节点的 hadoop 集群。我为每个节点配置了 10 个映射器。当 MR 作业正在运行时，其中一个 hdfs 节点死亡。这最终导致该任务跟踪器被列入黑名单。在它被列入黑名单之后和 MR 作业完成之前，如果我修复受影响的 hdfs 节点，是否可以从黑名单中恢复任务跟踪器？

我在 ubuntu 上使用 cloudera cdh 4.2。

Answer 1

我正在阅读有关 tasktracker 失败的“Hadoop 权威指南”。我找到了这个说法

“列入黑名单的 tasktracker 没有分配任务，但它们会继续与 jobtracker 通信。故障会随着时间的推移而过期(以每天一个的速度)，因此 tasktracker 有机会再次运行作业，只需继续或者，如果存在可以修复的潜在故障(例如，通过更换硬件)，tasktracker 将在重新启动并重新加入集群后从 jobtracker 的黑名单中删除。”