java - Hadoop 的慢任务阈值是否有助于解决竞争条件？

Question

我有一个关于 mapreduce.job.speculative.slowtaskthreshold 的问题。

文档说:

The number of standard deviations by which a task's ave progress-rates must be lower than the average of all running tasks' for the task to be considered too slow.

我很好奇当一个进程被认为“太慢”时会发生什么。它会杀死并重新启动它吗？就杀？我很好奇，因为我认为我可能遇到了竞争条件并且想调整参数以尽量减少问题。

来源:http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

Answer 1

通过推测执行，当框架确定任务“太慢”时，它会在不同的节点上推测执行相同的任务。一旦两个任务之一成功完成，另一个任务就会被终止。