hadoop - 如果映射器在中途失败并且 Hadoop 重试该映射器，自定义计数器会发生什么

Question

我有一个映射器，它从数据库中读取数据并使用“读取次数”计数器和“已处理记录”计数器更新计数器。如果映射器在两者之​​间失败可能是由于没有足够的资源来运行那么计数器会发生什么？复位了吗？ 在我的例子中，数据非常庞大，大约有 4000 万条记录。花了 3 天时间和 92 退休完成，但在工作运行期间，计数器是好的，但当它终止时，计数器的值减半，无法理解请帮助。

Answer 1

每个任务计数器(映射器或缩减器)都与任务尝试相关，因此当任务尝试失败(由于错误/IO 问题)或被杀死(推测执行)时，相关计数器将被丢弃。