java - Hadoop:你能默默丢弃一个失败的 map task 吗？

Question

我正在使用 hadoop MapReduce 处理大量数据。问题是，损坏的文件偶尔会导致 Map 任务抛出 Java 堆空间错误或类似的错误。

如果可能的话，最好丢弃 map task 正在做的任何事情，杀死它，然后继续工作，不要在意丢失的数据。我不希望整个 M/R 工作因此而失败。

这在 hadoop 中可行吗？如何实现？

Answer 1

您可以修改 mapreduce.max.map.failures.percent 参数。默认值为 0。增加此参数将允许一定比例的 map 任务失败而不会使作业失败。

您可以在 mapred-site.xml 中设置此参数(将应用于所有作业)，或逐个作业设置(可能更安全)。