gpt4 book ai didi

hadoop - 对相同的 reduce 任务的两次尝试是否应该继续并行运行?

转载 作者:可可西里 更新时间:2023-11-01 16:36:14 24 4
gpt4 key购买 nike

我的 hadoop reduce 任务中的 Action 有外部效果,而且它们不是幂等的。我在任务跟踪器中观察到,尝试了一个 reducer ,然后启动了同一组键的另一个 reducer ,而没有杀死原来的 reducer 。我配置错了吗?

这是这个 reduce 任务的表:

enter image description here

最佳答案

这是由于 hadoop 中的推测执行。如果 Hadoop 检测到少数集群节点上有一些慢速任务,它是 Hadoop 指定备份任务的选项。备份任务将优先安排在速度较快的节点上。重复任务中最先完成的任务将成为用于进一步操作的任务。

您可以通过将以下参数设置为 false 来关闭此功能

mapred.reduce.tasks.speculative.execution 

关于hadoop - 对相同的 reduce 任务的两次尝试是否应该继续并行运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52048623/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com